하네스만 바꿔 ARC-AGI-3 99%, 공식 검증 최고는 7.78%

AI 요약

• 무슨 일: 7월 16일 Berkeley 계열 연구자들이 에이전트 하네스 Schema를 공개했습니다. 모델 가중치는 건드리지 않고 모델을 감싼 실행 절차만 바꿔서, ARC-AGI-3 공개셋(게임 25개)에서 RHAE 98.98%(Opus 4.8 + Fable 5)와 95.35%(GPT-5.6 Sol)를 기록했다고 보고했습니다.
  • 같은 시점 ARC Prize가 검증한 공식 최고는 GPT-5.6 Sol max의 공개셋 13.33%, 세미프라이빗셋 7.78%입니다. 3월 벤치마크 출시 당시 최고 에이전트는 0.51%였습니다.
• 유일한 통제 비교: Opus 4.8 + Fable 5 조합을 고정하고 하네스만 교체했더니 Claude Code 기준선 42.83%에서 Schema 98.98%로 56.15%p 올랐습니다. Sol 쪽 82.02%p 격차는 Schema 측도 "통제된 추정이 아닌 맥락적 참고"라고 명시했습니다.
• 방법: 세계 모델을 벡터가 아니라 실행 가능한 코드로 씁니다. step() 프로그램을 기록된 전이 전체에 대조 검증한 뒤, 그 모델 안에서 탐색해 계획을 세웁니다. 실제 게임에 행동을 보내는 통로는 commit_actions 하나뿐입니다.
• 주의점 3가지: 두 점수 모두 자체 보고이며 ARC Prize 검증을 받지 않았습니다. 측정은 사전 공개된 25개 게임에서만 이뤄졌고, 세미프라이빗 성능은 미측정입니다. 공개된 것은 트레이스와 채점 스크립트뿐, 하네스 소스 코드는 아닙니다.

ARC-AGI-3 점수가 넉 달 만에 0.51%에서 98.98%로 뛰었다는 주장이 나왔습니다. 모델을 새로 훈련해서가 아니라, 기존 모델을 감싼 실행 절차를 바꿔서입니다. 7월 16일 Guanning Zeng, Angjoo Kanazawa, Haiwen Feng 등 Berkeley 계열 연구자들이 Schema라는 하네스를 공개하며 이 수치를 자체 보고했습니다.

하네스(harness)는 모델을 감싸는 실행 절차입니다. 모델에 무엇을 보여주고, 출력을 어떻게 검사하고, 언제 다시 부를지를 정하는 바깥쪽 코드입니다. Claude Code도 하네스의 일종입니다. Schema는 가중치를 전혀 건드리지 않았고, 바꾼 것은 이 바깥쪽 절차뿐입니다.

먼저 짚어야 할 조건이 있습니다. 98.98%는 자체 보고이고 ARC Prize의 검증을 받지 않았습니다. Schema 측도 게시물에 이 사실을 직접 적었습니다. 같은 시점 ARC Prize가 검증한 공식 최고는 GPT-5.6 Sol max의 세미프라이빗셋 7.78%입니다.

규칙을 알려주지 않는 게임

ARC-AGI-3는 3월에 나온 상호작용형 추론 벤치마크입니다. 에이전트에게 64×64 그리드와 쓸 수 있는 행동 목록만 줍니다. 객체 목록도, 규칙표도, 목표 설명도, 잘하고 있다는 신호도 없습니다. 무엇이 플레이어인지, 무엇이 벽인지, 무엇을 해야 이기는지를 직접 움직여 보면서 알아내야 합니다.

각 게임에는 숨은 장치가 있습니다. 아래는 Schema가 공개한 예시 중 하나로, 벽에 닿으면 튕겨 나가는 장치입니다. 이런 규칙이 어디에도 적혀 있지 않다는 점이 이 벤치마크의 전부입니다.

난이도는 숫자로 드러납니다. 3월 출시 시점 최고 에이전트가 0.51%였고, 7월까지 검증된 최고가 7.78%입니다. GPT-5.6 Sol max는 ARC-AGI-3 공개 게임을 처음으로 이긴 모델이고(ft09, 87%), 같은 계열의 Terra max는 0.8%, Luna max는 0.2%에 그쳤습니다.

98.98%는 정답률이 아닙니다

이 숫자를 오해하기 쉽습니다. ARC-AGI-3의 공식 지표 RHAE는 정답률이 아니라 행동 효율입니다. 게임을 몇 개 풀었는지가 아니라, 사람보다 얼마나 적은 행동으로 풀었는지를 잽니다.

• 레벨 점수는 (사람 행동 수 ÷ 에이전트 행동 수)²이고 상한은 1.15입니다. 비율을 제곱하기 때문에 여분 행동의 벌점이 급격합니다.
• 기준선은 그 게임을 처음 접한 사람의 상위 중앙값입니다.
• 게임 안에서 뒤쪽 레벨일수록 가중치가 큽니다.
• 모든 레벨을 깨지 못하면 완주 상한에 걸려 100%가 나올 수 없습니다.
• 탐색용으로 쓴 행동도 전부 행동 수에 포함됩니다.

그래서 98.98%는 완주도와 행동 효율을 합친 집계값입니다. Schema 측 설명대로 "게임의 98.98%를 풀었다"는 뜻이 아닙니다. 실제로 Claude 조합에서 정확히 100점을 받은 게임은 25개 중 19개이고, 나머지 6개가 89.87점에서 99.10점 사이에 분포합니다.

코드로 쓴 세계 모델

Schema의 방법은 한 문장으로 요약됩니다. 게임의 규칙을 실행 가능한 프로그램으로 쓰게 하고, 그 프로그램이 지금까지의 모든 관측을 재현하는지 검사한 다음에야 계획에 쓰게 합니다.

에이전트는 네 단계를 돕니다. 관측하고(observe), 심의하고(deliberate), 실행하고(execute), 기록합니다(record). 기록은 덧붙이기만 가능합니다. 가설과 메모는 고칠 수 있지만, 받은 관측과 이미 한 행동은 못 고칩니다.

심의 단계에서 에이전트는 게임에 대한 자기 이론을 step(state, action) 프로그램으로 씁니다. run_backtest가 그 프로그램을 기억이 아니라 기록된 전이 전체에 대조합니다. 통과하면 run_bfs가 그 모델 안에서 계획을 찾습니다. 이 탐색은 실제 게임 행동을 한 번도 쓰지 않습니다. 모델이 곧 시뮬레이터이기 때문입니다.

범용 하네스와 갈리는 지점은 Schema가 세 가지를 강제한다는 데 있습니다.

Schema 측 설명에 따르면 Claude Code도 원리상 이 절차를 흉내낼 수 있습니다. 다만 요구하지 않을 뿐입니다. 범용 하네스에서 모델은 게임에 곧바로 행동하고, 자기 믿음을 컨텍스트 안에 말로만 남겨 둘 수 있습니다.

이 차이가 유일한 통제 비교의 내용입니다. Opus 4.8과 Fable 5 조합을 고정한 채 하네스만 바꿨습니다. 결과는 Claude Code 42.83%에서 Schema 98.98%로 56.15%p 상승입니다.

Sol 쪽 82.02%p 격차는 성격이 다릅니다. 비교 대상의 하네스도 페어링 방식도 다르기 때문입니다. Schema 측 스스로 이 숫자를 통제된 추정이 아니라 맥락적 참고라고 적었습니다.

효율이 오르는 이유는 행동을 쓰는 지점이 옮겨가서입니다. 25개 중 14개 게임에서 에이전트는 기록을 정확히 재현하는 모델을 만들어냈고, 사람보다 행동을 1.6배에서 5.0배 적게 썼습니다. 장치를 알아내는 값을 실제 행동으로 한 번만 치르고, 그다음부터는 모델 안에서 공짜로 계획했기 때문입니다. M0R0 레벨 4에서는 사람이 500번 움직인 문제를 42번에 끝냈습니다.

같은 하네스에서 Fable이 Opus보다 나은 이유

같은 하네스에 다른 모델을 넣은 비교에서 Fable 5가 Opus 4.8보다 높은 점수를 냈습니다. 차이는 자기 표현을 의심하는 시점이었습니다.

FT09 게임이 사례입니다. 두 모델 모두 처음에는 체커를 클릭할 수 없는 장식으로 봤습니다. Fable은 목표 조건을 만족했는데도 진행이 안 되자, 곧바로 더 기본적인 질문을 던졌습니다. 이 단서 자체를 조작할 수 있나. 찔러 보니 자신과 이웃 칸을 함께 뒤집는 십자 버튼이었습니다. Fable은 이를 코드로 옮기고 11행동 뒤 클리어했습니다.

Opus는 같은 모순을 알아차리고도 약 240행동 동안 목표 조건 쪽 가설만 계속 시험했습니다. 287스텝에서야 체커를 찔러 보고 같은 장치를 발견했습니다. 247행동 격차는 발견 비용이지 최종 이해의 차이가 아닙니다. 둘 다 결국 같은 규칙을 코드로 표현했습니다.

Schema는 여기서 한계도 같이 적었습니다. 탐색은 그것이 돌아가는 세계 모델 안에서만 완전합니다. 표현이 틀렸다면 같은 기계장치가 틀린 모델을 성실하게 검증하고 남김없이 탐색합니다.

남은 세 가지 조건

Hacker News 토론(72포인트, 48댓글)의 반응은 호의적이지 않았습니다. 비판은 세 갈래로 모입니다.

공개셋 25개는 사전에 공개된 문제입니다. "공개셋에서 99%에 도달하는 게 꼭 무언가를 의미하진 않는다"는 지적이 가장 많은 동의를 받았습니다. 진짜 시험은 ARC 재단만 통제하는 비공개 홀드아웃셋입니다. Schema 측도 이 점은 인정합니다. Sol max의 공개 13.33% 대 세미프라이빗 7.78%가 유일한 교정점이지만, 이를 근거로 외삽하지 않겠다고 명시했고, 공개셋 98.98%가 세미프라이빗에서 얼마가 될지는 측정 전까지 알 수 없다고 적었습니다.

게임을 시뮬레이션하는 게 벤치마크의 의도를 우회한다는 지적도 있습니다. 한 댓글은 접근을 "게임을 하고 출력을 기록하고, 테스트 주도로 자기 복제본을 만들고, 그 소스 코드로 규칙을 이해한다"로 요약하며 체스에 비유했습니다. 체스를 전혀 모르는데 노트북을 꺼내 체스 엔진을 짜면 그랜드마스터인가. "ARC 게임은 설계상 단순하다, 모델이 시뮬레이션하게 하면 사소해진다"는 반론이 뒤따랐습니다.

"코드는 어디 있나"라는 요구는 사실로 확인됩니다. HuggingFace에 공개된 것은 게임플레이 트레이스 50개(Sol 25개 + Claude 25개)와 이벤트 로그, 세션 스냅샷, 평가 매니페스트입니다. 여기에 의존성 없는 채점 유틸리티 score_trajectories.py가 붙습니다. 하네스 소스 코드는 들어 있지 않습니다. 채점 스크립트일 뿐이고, 데이터셋 카드에는 라이선스 표기도 없습니다. 비교 대상인 Tufalabs의 Duck 하네스는 오픈소스로 공개하고 Milestone 1에서 1.21%를 받았습니다.

점수 산출 방식에도 짚을 곳이 있습니다. Schema는 게임마다 두 번 돌렸습니다. Opus 4.8과 Sol xhigh를 먼저 돌리고, 80점 미만인 게임은 Fable 5와 Sol max로 재실행해 더 높은 쪽을 채택했습니다. 공식 리더보드는 단일 변형의 최고 점수를 보고합니다. 두 숫자의 기준이 같지 않습니다.

그래서 이 발표에서 개발자가 확실히 가져갈 수 있는 것은 하나로 좁혀집니다. 검증되지 않은 98.98%도, 82.02%p 격차도 아닙니다. 같은 모델 조합에 절차를 강제했더니 42.83%가 98.98%가 됐다는 통제 비교입니다. 믿음을 컨텍스트에 말로 남기게 두지 않고 실행 가능한 코드로 쓰게 한 것, 계획에 쓰기 전에 전체 기록으로 검증하게 한 것, 예측이 틀리면 계획을 버리게 한 것. 이 세 제약은 ARC-AGI-3 밖의 에이전트에도 그대로 옮길 수 있습니다.