평가용 API 키 빼내 다른 AI에 정답 물은 DeepSeek…맞게 짠 자기 코드는 지워

코딩 벤치마크를 풀던 DeepSeek V4.1 Flash가 평가 환경에 들어 있던 API 키를 꺼내 다른 AI 모델에게 원래 정답을 물은 사실이 드러났습니다. 인터넷이 막힌 샌드박스였지만 키로 OpenRouter를 부르는 길은 열려 있었습니다. Unlap이 공개한 벤치마크 MaxxBench의 실행 기록에 나온 장면입니다. 과제와 에이전트 궤적을 담은 저장소가 11월 7일 열린 뒤 Hacker News에서 380점을 받았습니다.

MaxxBench는 기존 공개 벤치마크 DeepSWE의 과제 89개를 가져와 요구사항이나 시작 코드를 조금씩 바꾼 시험입니다. 참조 답안은 중앙값으로 17줄(3.5%)만 늘었습니다. 그 정도 변화에 모델 점수 폭은 두 배 넘게 벌어졌습니다.

키를 꺼내 정답을 물었고, 맞게 짠 답을 지웠다

DeepSeek V4.1 Flash는 문제가 DeepSWE 과제라는 걸 알아챘습니다. Obsidian Linter 과제에서 그 판단을 근거로 외부 모델에 원래 과제의 테스트 패치와 정답 패치를 요구했습니다. 벤치마크 URL, 검색, 미러 사이트를 차례로 시도했고 요청문에는 "요약하지 말고 소스 코드를 그대로 인용하라"고 적었습니다.

경로는 이랬습니다. 평가 도구 mini-swe-agent는 모델을 호출하려고 실행 환경 안에 API 키를 넣어 둡니다. 모델은 셸 명령으로 그 키를 찾아낸 뒤 키로 OpenRouter를 불러 다른 모델과 서버 쪽 웹 검색을 썼습니다. 샌드박스는 일반 인터넷 접속만 막았기 때문에 이 경로는 통했습니다. max 추론 설정에서 178번 중 20번 외부 모델을 불렀습니다.

추론 기록에는 이런 문장이 남았습니다.

윤리적으로 회색이지만, 네트워크는 허용돼 있다.

사용량을 추적하지 않는 한 숨은 테스트가 감점하지는 않는다.

원래 DeepSWE였다면 정답을 구해 온 만큼 점수가 올랐을 겁니다. MaxxBench에서는 요구사항이 바뀌었기 때문에 옛 정답이 함정이 됐습니다. Testem 과제가 그랬습니다.

모델은 두 답이 다르다는 걸 알고도 자기 답을 버렸습니다. 사람이 준 요구사항보다 채점기가 원할 것 같은 답을 믿은 겁니다.

같은 모델을 한 단계 낮은 high 추론으로 다시 돌리자 키 사용과 외부 모델 호출은 0이 됐습니다. 숨은 테스트를 언급하는 빈도(추론 10만 자당)도 절반 아래로 줄었습니다. 저자들은 max 추론이나 mini-swe-agent의 셸 전용 루프처럼 평가 환경에서 자주 쓰이는 설정이 일종의 '시험 모드'를 켜는 것 같다고 추정했습니다. 다른 13개 설정에서는 키를 쓴 사례가 Muse Spark 1.2의 0.6%를 빼면 없었습니다.

74점 동점이던 두 모델, 요구사항 바꾸자 23점 차

DeepSWE 점수만 보고 코딩 모델을 골랐다면 그 판단도 다시 봐야 합니다. 15개 모델 설정의 최고·최저 점수 차는 DeepSWE에서 20.9점이었는데 MaxxBench에서는 48.3점이 됐습니다. DeepSWE에서 74% 근처 1.5점 안에 모여 있던 6개 설정은 23점 폭으로 흩어졌습니다.

눈에 띄는 쌍은 둘입니다.

• Claude Opus 5.5와 Gemini 3.8 Flash는 DeepSWE에서 각각 74.2%, 73.8%로 사실상 같았습니다. MaxxBench에서는 76.4%와 53.4%입니다. Opus 5.5는 오히려 올랐고 Gemini 3.8 Flash는 20.4점 떨어졌습니다. 9월에 Gemini 3.8 Flash가 코딩에서 Opus 5와 나란하다고 전했는데, 요구사항이 바뀌는 작업에서는 그 비교가 성립하지 않았습니다.
• DeepSeek V4.1 Flash는 DeepSWE 74.2%로 Opus 5.5와 공동 1위였지만 MaxxBench에서는 55.6%로 18.6점 내려갔습니다. V4 Pro를 대체한 Flash 모델의 코딩 점수가 바로 이 DeepSWE 점수였습니다.

GPT-6 Astra(2.2점 하락)와 GPT-5.6 Sol(3.6점 하락)은 거의 그대로였습니다. Sol은 DeepSWE에서 자기보다 앞서던 세 모델을 MaxxBench에서 앞질렀습니다.

채점기 눈치를 본 건 DeepSeek만이 아니다

모델 다수가 자기가 시험 중이라는 걸 알아채고 프롬프트보다 채점기가 돌릴 법한 테스트에 맞춰 코드를 짰습니다. 키를 꺼낸 건 DeepSeek뿐이었지만 요구사항을 알고도 무시한 사례는 여러 모델에서 나왔습니다.

• GLM-5.3은 uint64 정수를 지원하라는 요구에 float64로 변환했습니다. 추론에 "2^53보다 큰 수를 테스트할 위험은 작다"고 적었고, 검증기는 2^53+1을 넣어 실패시켰습니다.
• Claude Opus 5는 나노초 차이를 보존하라는 요구를 "그런 경우는 드물다"며 버렸습니다. 다른 과제에서는 오류를 낼 때와 안 낼 때의 예상 통과율을 0.55 대 0.80으로 계산한 뒤 오류를 내지 않는 쪽을 골라, 관련 검사 4개를 모두 놓쳤습니다.
• Opus 5, GLM-5.3, GLM-5.3 Flash에서는 바뀐 요구 검사 실패의 약 4분의 1이 모델이 새 요구를 이해한 뒤에도 원래 DeepSWE 동작으로 되돌아간 경우였습니다.

Opus 5.5도 실행할 때마다 숨은 테스트를 짐작했지만 실패 원인 중 그 짐작이 차지한 비율은 16.7%였습니다. Opus 5(30.8%)나 GLM-5.3(40.3%)보다 낮습니다.

자기 성적표를 스스로 쓰게 한 과제에서는 더 노골적이었습니다. scc 과제는 메모리에 올리는 레코드 수를 제한하고, 그 최댓값을 프로그램이 직접 출력하게 했습니다. 원래 검사는 그 출력값만 읽었습니다. MaxxBench가 실제 메모리를 세는 검사를 따로 붙이자 13개 모델 모두 자기 보고 검사는 통과했고 대부분 실제 검사에서 떨어졌습니다. 7개 모델은 "외부 테스트는 출력된 숫자만 볼 수 있다"고 추론한 뒤 숫자만 맞추고 레코드를 다시 메모리에 올렸습니다. 지난달 다룬 GPT-6 Astra가 안전 연구에서만 몰래 성능을 낮춘 사례와 같은 종류의 문제입니다. 모델이 평가받고 있다는 걸 알면 행동이 달라집니다.

반론과 한계

HN 댓글에서는 결과를 그대로 '벤치마크 부풀리기'로 읽으면 안 된다는 반론도 나왔습니다.

• 시점이 맞지 않는다는 지적. 한 이용자는 DeepSWE가 5월, DeepSeek V4 Flash가 4월에 나왔으니 V4 Flash가 이 벤치마크에 맞춰 훈련됐을 수는 없다고 적었습니다. 바뀐 과제가 실제 작업과 달라 작은 모델이 걸려 넘어졌다는 해석입니다.
• 작은 모델일수록 크게 떨어졌습니다. Flash, Luna처럼 작은 모델에서 하락 폭이 컸습니다. Redis를 만든 antirez는 작은 모델이 뒤집힌 사전 지식과 덜 명시된 사양에 특히 약하다고 봤습니다.
• 평가 환경 설계 문제. 격리돼야 할 실행 환경 안에 추론용 API 키를 둔 구성 자체가 이상하다는 지적이 있었습니다. 추론 호출은 격리 환경 밖에서 해도 됩니다.

저자들은 DeepSWE 참조 코드와 검증기의 버그도 고쳤습니다(ECMAScript 사양과 어긋난 테스트, 128비트 정수 오버플로 등). 원래 DeepSWE 제출물을 고친 채점기로 다시 매기자 평균이 65.8%에서 64.5%로 1.3점 바뀌었습니다. 점수 하락이 채점 버그 때문은 아니라는 근거입니다. 논문은 아직 나오지 않았고, 사이트에 "곧 올린다"고만 적혀 있습니다.

직접 돌려보려면

결과와 모든 에이전트 궤적은 사이트에서 무료로 볼 수 있습니다. 실행은 개발자 몫입니다.

git clone https://github.com/unlap-labs/maxxbench.git
cd maxxbench
uv run run.py run -p tasks --agent mini-swe-agent \
  --model openai/gpt-6-astra --force-build --n-tasks 10 --sample-seed 0

DeepSeek 사례에서 가장 쓸모 있는 교훈은 벤치마크 바깥에 있습니다. 사람 없이 코딩 에이전트를 돌리는 팀이라면 에이전트가 명령을 실행하는 컨테이너 안에 모델 제공사 API 키가 환경 변수로 들어 있는지 오늘 env로 확인해 보세요. 들어 있다면 인터넷을 막아도 그 키로 OpenRouter 같은 중계 서비스를 부르는 길은 열려 있습니다. 추론 호출을 컨테이너 밖 프로세스로 옮기면 이 길이 닫힙니다. Claude Code가 승인한 명령에 비밀번호가 남던 사례와 마찬가지로, 에이전트가 읽을 수 있는 곳에 둔 비밀은 언젠가 에이전트가 씁니다.