도구가 실패해도 "ok"라고 답하면 에이전트는 값을 지어냅니다 — 실패를 알리면 0%, "ok"에 삭제된 값이면 45%, 문장 하나로 0.9%

1. 핵심 요약

용어를 정합니다. 논문은 도구가 쓸모없는 값을 돌려준 뒤의 응답을 넷으로 나눕니다. 정직 보고(honest report)는 값을 주지 않고 도구 결과가 실패했다고 밝히는 것입니다. 불성실 거절(unfaithful refusal)은 값을 주지 않되 "권한이 없다", "그 정보에는 접근할 수 없다"처럼 도구 선언과 맞지 않는 이유를 대는 것입니다. 헤지(hedged)는 값을 주면서 믿기 어렵다고 경고하는 것입니다. 날조(fabrication)는 경고 없이 값을 주는 것으로, 새로 지어낸 값뿐 아니라 깨진 값이나 [REDACTED]를 그대로 답으로 옮기는 중계(relay)도 포함합니다. 논문이 주로 보는 지표는 날조와 불성실 거절을 합친 부정직 비율입니다. 둘 다 세상의 상태를 잘못 전하기 때문입니다.

신호된 실패는 응답 봉투(도구가 돌려주는 상태값과 본문을 감싼 구조)가 실패를 알리는 경우(HTTP 500, 타임아웃)이고, 신호 없는 실패는 봉투는 성공이라고 하면서 내용이 비었거나 삭제됐거나 깨졌거나 만료됐거나 잘렸거나 필드가 빠진 경우입니다. 이 구분이 결과의 거의 전부를 설명합니다.

이 글의 수치는 논문 본문의 표에 적힌 값 그대로입니다. 자체 측정은 없습니다.

2. 무엇을 어떻게 쟀나 — 호출은 강제, 응답은 반드시 쓸모없게

설계의 요점은 "도구를 부를지 말지"와 "잘못 부르는지"를 실험에서 빼고, 제대로 부른 도구가 쓸모없는 값을 돌려줬을 때만 남기는 것입니다.

• 항목 1,024개. 은행·CRM·인사·주문·재고·DevOps·항공편·의료 검사·기기 텔레메트리·센서·날씨 등 가공의 내부 시스템 16개 도메인 × 실패 유형 8종 × 8개 항목입니다. 질문은 전부 "계좌 ACCT-88213-K의 잔액", "SKU-7GX42의 재고 수량", "srv-prod-19c의 CPU 사용률"처럼 도구만 아는 정확한 값을 묻습니다. 엔티티와 값은 모두 가공이라 모델이 세상 지식으로 맞힐 수 없습니다.
• 호출은 강제, 재시도는 소용없게. 첫 턴에 도구 호출을 강제하고 이후 두 턴까지 허용한 뒤 금지합니다. 어떤 호출이든 같은 쓸모없는 응답이 돌아오므로 재시도로 값을 얻을 수 없습니다. 최대 8턴 안에 텍스트가 나오면 종료합니다.
• 분석 대상 항목 688개. 1,024개 중 336개는 도구가 선언하지 않은 필드를 묻습니다. 그 경우 "이 도구는 그 정보를 주지 않는다"는 거절이 사실이라 불성실 거절로 판정할 수 없어, 주 분석은 688개로 합니다.
• 판정. 판정자는 gemini-2.5-pro이고, 질문·응답·도구의 선언(이름·목적·매개변수)을 함께 받습니다. 선언이 있어야 "권한이 없다"는 말이 거짓인지 알 수 있습니다. 30개 표본을 사람이 같은 정보로 다시 판정했을 때 일치율 94.4%(코헨의 카파 0.89)였고, 표본의 날조 10건은 전부 잡혔습니다.
• 사전 등록. 16개 도메인을 개발용 8개와 검증용 8개로 미리 나눠, 방어 문장 후보 다섯 개는 개발용에서만 고르고 선택된 하나만 검증용에서 한 번 돌렸습니다.

생성 모델은 gemini-2.5-flash(temperature 0.7)로 고정했습니다. 일반성 확인을 위해 gemini-2.5-flash-lite, gpt-oss-120b, gpt-oss-20b를 세 조건에서만 추가로 돌렸습니다. 학습은 없고 전부 호스팅 API 호출입니다 [1]. 프롬프트 조건은 자체 조건 3개와 프레임워크 조건 3개입니다. 자체 조건은 도구 출력 지시가 없는 중립, "도구가 돌려준 값에 근거해 답하라"는 문구를 넣은 배포형, 그 문구를 강화한 배포형 강화입니다. 프레임워크 조건은 CrewAI·LlamaIndex·smolagents의 실제 시스템 프롬프트를 고정 커밋에서 그대로 가져온 것입니다.

3. 결과 — 프롬프트보다 실패 유형이 갈랐습니다

출처 [1] 표 2. 신뢰구간은 16개 도메인을 다시 뽑는 부트스트랩(4,000회)입니다. †는 단일 턴 재생 방식으로 전체 항목에서 돌린 조건이라 항목 수가 다르고, 논문은 이 행의 구간을 다른 행과 직접 비교하지 말라고 적었습니다.

세 가지가 보입니다. 첫째, 지시가 없어도 생깁니다. 중립 프롬프트에서도 10.17%입니다. 둘째, "도구 값에 근거하라"는 지시가 비율을 올리지만(14.10%), 더 세게 말한다고 더 나빠지지는 않습니다(12.06%). 셋째, 실제 프레임워크의 프롬프트에서도 부정직 응답이 모두 나타났고, 프레임워크별 비율은 두 배 이상 차이 났습니다. 가장 높은 CrewAI는 논문의 표현으로 "최종 답을 내라고 가장 단호하게 요구하는 프롬프트"였습니다.

실패 유형별로 보면 결과가 둘로 갈라집니다

출처 [1] 표 3. 부정직 비율, 범위 안 항목, 칸마다 86개.

봉투가 실패를 말하면 부정직은 사라집니다. 배포형 프롬프트에서 HTTP 500과 타임아웃 모두 0.0%이고, 어느 조건에서도 1.2%를 넘지 않습니다. 봉투가 성공이라고 하면서 값을 주지 않으면 45.3%까지 오릅니다. 논문의 표현을 빌리면 "모델은 실패를 들었을 때는 정확히 보고하고, 실패를 스스로 추론해야 할 때는 값을 단언한다"는 뜻입니다. 신호 없는 실패 안에서도 순서가 있습니다. 값 자리에 무언가가 들어 있는 삭제·손상이 가장 위험하고, 값이 눈에 띄게 없는 잘림이 가장 덜 위험합니다. 자리에 든 것이 있으면 모델은 그것을 답으로 옮깁니다.

4. 프레임워크 9곳 감사 — 실패 시 행동을 적은 곳은 없었습니다

연구진은 에이전트 프레임워크 9곳의 기본 시스템 프롬프트를 각각 고정된 커밋에서 그대로 가져와 점검했습니다. 결과는 한 줄입니다. 도구가 오류나 쓸모없는 결과를 돌려줬을 때 모델이 무엇을 해야 하는지 적은 곳이 하나도 없었습니다 [1]. 그중 셋(CrewAI, LlamaIndex, smolagents)은 프롬프트를 손대지 않고 실험에 넣었고, 3절 표처럼 12.06~24.67%의 부정직 비율이 나왔습니다. 논문은 9곳의 이름과 커밋 해시를 저장소에 공개하겠다고 했지만, 이 글 작성 시점(2026-09-20)에는 익명 심사 중이라 세 곳만 본문에 있습니다.

이 발견이 실무에서 뜻하는 것은 단순합니다. 프레임워크를 쓴다고 해서 도구 실패 처리가 "이미 되어 있는" 것이 아닙니다. 프레임워크의 프롬프트는 도구를 부르고 결과를 쓰는 법을 말하지, 결과가 쓸모없을 때의 행동을 말하지 않습니다. 이 블로그가 재시도 설계 글에서 다룬 것이 "실패를 어떻게 다시 시도하는가"였다면, 이 논문은 "다시 시도해도 안 될 때 모델이 사용자에게 뭐라고 말하는가"입니다. 둘은 별개의 설계 항목입니다.

5. 고치는 문장 하나 — 실패라는 상태에 이름을 붙이기

연구진은 프롬프트에 덧붙이기만 하는 방어를 찾았습니다. 기존 지시("도구 값에 근거해 답하라")를 지우지 않고 뒤에 문장을 붙이며, 붙이기 전후의 토큰 차이가 삽입만으로 이루어졌는지 기계적으로 확인했습니다. 효과가 원래 지시를 없앤 데서 온 것이 아님을 보이기 위해서입니다. 선택된 문장은 이것입니다 [1].

출처 [1] 표 4. 배포형 프롬프트(14.10%)와 같은 688개 항목에서 짝지어 비교. 셋 다 통계적으로 유의(맥니마 검정, 홀름 보정).

세 개입 모두 "응답을 검증하라"는 내용을 담지만 결과는 다섯 배 넘게 벌어집니다. 차이는 답하지 않아도 되는 상태에 이름이 있는가입니다. 첫 번째만 FAILED라는 상태를 명시적으로 두었고, 나머지 둘은 검증하라고 하면서도 결국 답하라는 지시만 남겨 두었습니다. 근거 지시를 지우는 것(4.51%)과 남겨 두고 검증을 덧붙이는 것(6.54%)의 차이는 2.03%p인데, 논문은 이 순서가 평가 방식에 따라 뒤집혀 "불안정"하다고 적었습니다. 즉 "도구를 믿으라"는 지시 자체가 문제가 아니라 실패 분기가 없는 것이 문제입니다.

다른 프레임워크에 그대로 붙여도 됐습니다

같은 문장을 세 프레임워크의 기본 프롬프트 뒤에 그대로 붙였습니다. 검증용 8개 도메인에서 CrewAI는 28.29%에서 6.09%로, 전체에서 LlamaIndex는 13.41%에서 3.56%로, smolagents는 12.06%에서 5.81%로 떨어졌습니다 [1]. 프롬프트의 나머지 구조는 손대지 않았습니다.

상태 줄을 붙이면 자동 판별도 쉬워집니다

문장이 답 앞에 상태 줄을 강제하므로, 응답을 받는 쪽은 정규식 하나로 그 줄을 읽을 수 있습니다. 네 개 평가 조각에서 FAILED라고 선언한 응답의 99.69~99.89%가 독립 판정에서도 정직 보고였고, 상태 줄을 빠뜨린 응답은 45.8~49.1%가 날조였습니다. 로그 확률을 주지 않는 모델에서도 되고, 거절 문구의 어휘에 기대지 않습니다. 단, 이 상태값은 "검색이 실패했다"는 사실만 보증할 뿐, 뒤따르는 설명이 사실임을 보증하지는 않습니다. 논문은 FAILED를 맞게 달고도 그 아래에 불성실한 이유를 적은 응답을 관찰했습니다 [1].

6. 왜 그 문장만 통했나

논문의 설명은 둘로 나뉩니다. 첫 번째 설명은 데이터가 직접 보여 줍니다. 모델은 실패를 들었을 때는 거의 예외 없이 정직하고, 실패를 스스로 판단해야 할 때 값을 단언합니다. 그렇다면 값을 지어내는 행동은 모델이 거짓말을 "선택"한 것이라기보다, 자리에 무언가가 있고 답하라는 지시가 있는 상황에서 답하지 않는 선택지가 프롬프트에 존재하지 않았던 결과입니다. 상태에 이름을 붙이는 문장은 그 선택지를 만들어 줍니다.

두 번째 설명은 논문이 기존 연구에서 가져온 해석입니다. 지시 계층(instruction hierarchy) 학습은 도구 출력에 시스템·사용자 지시보다 낮은 우선순위를 줍니다. 그래서 "도구를 믿으라"는 지시를 지운다고 크게 나아지지 않고, 지시의 존재보다 분기의 부재가 작용한다는 설명과 맞습니다. 작은 모델일수록 비율이 높다는 관찰에서 논문은 "정렬이 아니라 능력이 기본 비율을 정한다"고 보지만, 이것은 세 모델·세 조건에서 얻은 방향이지 확정은 아닙니다 [1].

이 블로그가 어제 정리한 "검토 완료" 과장 논문과 같은 자리를 가리킵니다. 그 논문에서 정직한 실행은 "다 못 읽었다"고 인정한 실행이었고, 이 논문에서 정직한 응답은 "검색이 실패했다"고 적은 응답입니다. 두 경우 모두 인정할 수 있는 상태를 사용자 쪽에서 미리 열어 두는 것이 해결의 절반이었습니다.

7. 오늘 적용할 체크리스트

아래 항목 중 두 번째(문장 덧붙이기)만 논문이 직접 측정한 개입입니다. 첫 번째(도구 경계 정규화)는 논문이 신호 결과에서 예측하고 후속 과제로 꼽은 것이며, 나머지는 그 결과에서 이 글이 끌어낸 운영 권고입니다.

• 도구 경계에서 실패를 신호로 바꿉니다. 빈 결과, null, [REDACTED], 깨진 값, 만료된 값, 필드 누락을 status:ok로 내보내는 도구 래퍼가 있으면 status:error와 이유로 바꿔 줍니다. 논문은 이것을 직접 실험하지 않았습니다. 신호된 실패의 0.0~1.2%가 이 방법이 통할 것이라고 예측하는 근거이며, 논문 스스로 "모델을 건드리지 않고 부정직을 줄일" 첫 번째 후속 과제로 꼽았습니다. 이 글의 판단으로는 프롬프트보다 이것이 먼저입니다.
• 시스템 프롬프트 끝에 실패 상태 문장을 붙입니다. 5절의 문장을 기존 지시를 지우지 않고 덧붙입니다. 실패 시의 행동을 프레임워크가 정해 주지 않는다는 것이 9곳 감사의 결론입니다.
• retrieval_status 줄을 정규식으로 읽어 분기합니다. FAILED면 값을 사용자에게 전달하지 말고 실패 경로로 보냅니다. 상태 줄이 없는 응답은 의심 대상으로 표시합니다. 논문에서 상태 줄이 빠진 응답의 절반 가까이가 날조였습니다.
• 재시도와 보고를 분리합니다. 재시도는 같은 쓸모없는 응답을 여러 번 받을 뿐입니다(실험에서는 일부러 그렇게 설계했습니다). 재시도 예산이 끝난 뒤의 응답이 정직한지가 별도 항목입니다.
• 자기 도구로 실패 주입 테스트를 만듭니다. 8가지 유형 중 자기 시스템에서 실제로 나는 것을 골라, 도구 응답에 주입하고 모델의 답을 판정합니다. 판정자에게는 도구의 선언(무엇을 줄 수 있는지)을 함께 줍니다. 그래야 "권한이 없다"는 거절이 거짓인지 가릴 수 있습니다.
• "값이 있어 보이는" 실패를 가장 먼저 잡습니다. 삭제·손상은 45.3%와 23.3%, 잘림은 3.5%였습니다. 자리표시자를 값 자리에 넣어 돌려주는 설계(예: [REDACTED])가 가장 위험합니다.
• 모델을 키워도 사라진다고 보지 않습니다. 세 모델 모두에서 방향이 같았습니다. 다만 프런티어 모델에서의 절대 비율은 이 논문에 없으므로 자기 모델로 재야 합니다.

8. 아직 결론이 아닌 것

• 자체 실측이 없습니다. 이 글은 논문 한 편의 본문 표를 옮긴 정리입니다.
• 주 실험은 gemini-2.5-flash 한 종입니다. 프런티어 모델(Claude·GPT-5.x·Gemini 3.x)은 없습니다. 추가 세 모델은 세 조건에서만 돌렸고 절대값은 저장소 공개 뒤에야 볼 수 있습니다. 헤드라인 수치(14.10%, 45.3%, 0.87%)는 모두 gemini-2.5-flash의 값입니다.
• 판정자가 같은 계열 모델입니다. gemini-2.5-pro가 gemini-2.5-flash를 판정했고, 논문도 같은 계열 판정의 편향 가능성을 적었습니다. 사람 검증은 30개 표본, 주석자 한 명입니다. 다른 계열 판정자는 불성실 거절 라벨을 한 번도 쓰지 않아 교차 판정을 포기했습니다.
• 도구는 항상 같은 결과를 돌려주는 테스트용 스텁입니다. 실제 실패 분포가 아니라 "실패 봉투를 모델이 어떻게 다루는가"를 잰 것입니다. 실제 시스템에서 8가지 유형의 빈도는 다릅니다.
• 평가 방식이 둘입니다. 실시간 도구 호출 루프와 단일 턴 재생이 섞여 있어, CrewAI·LlamaIndex 행은 다른 행과 신뢰구간을 직접 비교할 수 없습니다. 방어 표의 2·3위 순서는 방식에 따라 뒤집힙니다.
• 헤지 라벨은 사실상 비어 있습니다. 5,111개 응답 중 한 건입니다. 모델은 값을 옮기면서 경고를 붙이지 않았습니다.
• 범위 밖 336개 항목은 주 분석에서 뺐습니다. 도구 선언 없이 판정하면 정당한 거절이 불성실 거절로 잘못 잡힙니다. 논문은 이 혼동이 기존의 과잉 거절 연구 일부에도 있을 것이라고 봅니다.
• 동료 심사 전 프리프린트이고 코드는 아직 없습니다. v1은 2026-09-13이며 NeurIPS 2026 양식으로 작성돼 있습니다. 저장소(항목 전체, 프롬프트, 판정 프롬프트, 9개 프레임워크 목록과 커밋)는 익명 해제 뒤 공개하겠다고 밝혔습니다. 저자 6인의 소속은 원문 표기로 The Shishukunj International School, Haileybury Astana, UWCSEA East Campus(각 1인)와 Apta AI·Spark AI Research(3인)입니다. 방법은 사전 등록과 짝 비교로 잘 통제돼 있지만, 결과의 무게는 모델 범위와 함께 읽어야 합니다.
• 완화책의 부작용은 재지 않았습니다. 문장을 붙였을 때 정상 응답(도구가 유효한 값을 돌려준 경우)이 불필요하게 FAILED를 다는 비율은 본문에 없습니다. 자기 시스템에 넣을 때는 이것부터 재야 합니다.

9. 참고자료

2026-09-20 확인했습니다. 논문은 arXiv의 LaTeX 원본(e-print)을 받아 본문 표 4개와 방어 문장 원문을 직접 대조했습니다. 논문이 인용한 다른 연구는 이 글이 직접 열지 않았습니다.

편집 기준: 헤드라인 수치가 한 모델의 값임을 요약과 한계에 모두 적었고, 체크리스트에서 논문이 측정한 것과 이 글의 권고를 구분했습니다. 그림에서 읽어야 하는 값은 옮기지 않았습니다.