Qwen-AgentWorld 공개, 실행 전에 결과를 보는 에이전트 실험

AI 요약

• 무슨 일: Qwen 팀이 Qwen-AgentWorld-35B-A3B 가중치와 AgentWorldBench를 공개했습니다.
  • 공식 저장소의 공개일은 2026년 6월 24일이고, arXiv 기술 보고서는 6월 23일 제출됐습니다.
• 핵심 변화: 일반 LLM이 행동을 고르는 쪽이라면, AgentWorld는 상태와 행동을 받아 다음 환경 관측을 예측합니다.
• 개발자 영향: 터미널, 브라우저, Android, MCP 도구 호출을 실제 실행하기 전에 시뮬레이션하는 평가·훈련 루프가 열렸습니다.
  • 공개 모델은 총 35B, 활성 3B MoE이며 262K 컨텍스트를 지원한다고 모델 카드가 설명합니다.
• 주의점: 가장 높은 종합 점수는 공개되지 않은 397B 모델 결과이고, 벤치마크 채점에는 LLM judge가 들어갑니다.

Qwen 팀이 2026년 6월 24일 Qwen-AgentWorld-35B-A3B와 AgentWorldBench를 공개했습니다. 공식 GitHub 저장소는 35B-A3B 모델 가중치와 7개 도메인 평가 벤치마크를 오픈소스로 내놓았다고 적었습니다. arXiv 기술 보고서의 제출일은 하루 앞선 6월 23일입니다. 이 뉴스가 단순한 새 모델 공개와 다른 지점은 모델의 역할입니다. Qwen-AgentWorld는 에이전트가 "무엇을 할지"를 고르는 정책 모델이라기보다, 현재 상태와 후보 행동을 받아 "그 행동 뒤에 환경이 어떻게 보일지"를 예측하는 언어 월드 모델입니다.

이 차이는 코딩 에이전트나 브라우저 에이전트를 써 본 팀에는 꽤 실무적입니다. 에이전트가 rm, git apply, tap, click, call_tool 같은 행동을 실제 환경에 보내면 되돌리기 어려운 결과가 생길 수 있습니다. 오늘의 제품들은 대개 권한 승인, 샌드박스, 로그, 재시도 정책으로 이 문제를 다룹니다. Qwen-AgentWorld가 던지는 질문은 한 단계 앞에 있습니다. 행동을 보내기 전에 가상의 터미널 출력, 다음 DOM, Android UI 계층, MCP 응답을 예측해 후보 행동을 걸러낼 수 있는가입니다.

공식 README는 Qwen-AgentWorld가 MCP, Search, Terminal, SWE, Android, Web, OS의 7개 에이전트 상호작용 도메인을 한 모델에서 다룬다고 설명합니다. 학습에는 실제 환경 상호작용 궤적 1천만 건 이상이 쓰였고, 파이프라인은 세 단계로 나뉩니다. 계속 사전학습(CPT)은 환경 지식을 넣고, 지도 미세조정(SFT)은 다음 상태 예측 추론을 켜며, 강화학습(RL)은 시뮬레이션 충실도를 다듬습니다. Qwen은 이 접근을 사후에 붙인 보정이 아니라 학습 목표 자체가 환경 모델링인 "네이티브 월드 모델"이라고 부릅니다.

AgentWorldBench는 이 모델을 평가하기 위한 공개 데이터셋입니다. Hugging Face 데이터셋 카드는 총 2,170개 샘플과 평균 22.8턴을 명시합니다. 도메인별로는 MCP 286개, Search 458개, Terminal 354개, SWE 472개, Android 200개, Web 200개, OS 200개입니다. 각 샘플은 실제 환경 실행에서 얻은 정답 관측을 갖고 있으며, 모델이 예측한 환경 관측은 형식, 사실성, 일관성, 현실성, 품질의 5개 차원으로 평가됩니다.

이 벤치마크 설계에서 눈에 띄는 부분은 평가 대상이 최종 정답이 아니라 "다음 관측"이라는 점입니다. 일반적인 SWE-Bench류 평가는 패치를 적용한 뒤 테스트가 통과했는지 봅니다. 브라우저 작업 평가는 목표 페이지에 도달했는지 봅니다. AgentWorldBench는 중간 상태를 더 직접적으로 봅니다. 예를 들어 터미널 도메인에서는 명령 실행 뒤의 셸 출력, 파일 시스템 상태, 프로세스 행동을 예측해야 합니다. Web 도메인에서는 사용자의 조작 뒤 DOM 상태를 예측하고, Android 도메인에서는 터치나 제스처 뒤 UI 계층 변화를 맞혀야 합니다.

공개 가중치인 Qwen-AgentWorld-35B-A3B는 MoE 모델입니다. 모델 카드에 따르면 총 파라미터는 35B이고 활성 파라미터는 3B입니다. 기본 컨텍스트 길이는 262,144 토큰이며, 기반 모델은 Qwen3.5-35B-A3B-Base입니다. Hugging Face 모델 카드는 Transformers, SGLang, vLLM 호환을 안내하고, vLLM 실행 예시에는 --language-model-only 플래그를 넣습니다. 체크포인트에는 언어 모델 가중치만 들어 있지만 아키텍처 정의에는 시각 구성요소가 있어, 이 플래그 없이 띄우면 초기화 문제가 생길 수 있다는 설명입니다.

이 공개가 개발자에게 바로 의미 있는 이유는 "큰 연구 모델"이 아니라 실제로 받아서 띄울 수 있는 35B-A3B 가중치가 있다는 점입니다. 물론 262K 컨텍스트를 유지하면 메모리 요구량은 만만하지 않습니다. 모델 카드도 메모리 부족이 나면 컨텍스트를 줄일 수 있다고 적으면서, 다중 턴 환경 시뮬레이션에는 적어도 128K 컨텍스트를 유지하라고 권합니다. 즉 노트북에서 아무 부담 없이 쓰는 도구라기보다, 에이전트 평가 서버나 연구용 시뮬레이터에 가까운 배치입니다.

공식 성능표는 두 층으로 읽어야 합니다. 공개 35B-A3B 모델은 AgentWorldBench 종합 56.39점을 기록했다고 Qwen은 적었습니다. 같은 표에서 GPT-5.4는 58.25점, Claude Opus 4.6은 57.80점, Claude Opus 4.8은 56.59점입니다. Qwen-AgentWorld-397B-A17B는 58.71점으로 표의 종합 1위입니다. 다만 397B-A17B는 이번 공개 가중치가 아닙니다. 독자가 직접 내려받아 재현할 수 있는 결과와, 논문이 비교용으로 제시한 대형 내부 모델 결과를 나눠 읽어야 합니다.

35B-A3B 공개 모델만 봐도 비교 지점은 분명합니다. Qwen3.5-35B-A3B의 종합 점수는 47.73이고, Qwen-AgentWorld-35B-A3B는 56.39입니다. Qwen은 같은 35B-A3B급 기반에서 언어 월드 모델 학습을 거치면 8.66점 개선된다고 설명합니다. 도메인별로는 Search 36.69, SWE 65.63, MCP 64.79가 비교적 강한 축입니다. 반대로 Web 49.55와 Android 58.17은 공개 표 안에서도 압도적인 우위라고 보기는 어렵습니다.

이 수치는 "Qwen이 GPT를 이겼다"보다 "환경 시뮬레이션 전용 학습 목표가 측정 가능한 차이를 만든다" 쪽으로 읽는 편이 정확합니다. GPT-5.4와 Claude Opus 4.x는 일반 목적 추론 모델입니다. Qwen-AgentWorld는 현재 관측과 행동에서 다음 관측을 맞히도록 학습됐습니다. 같은 시험지에서 전용 모델이 강해지는 것은 자연스럽습니다. 제품팀이 봐야 할 질문은 순위보다 전용 모델이 실제 운영 루프에 들어갈 만큼 예측 오류를 줄이는가입니다.

Qwen은 응용 실험도 함께 제시했습니다. OpenClaw 계열 환경 4천 개에서 Qwen-AgentWorld-397B-A17B를 시뮬레이터로 써 강화학습을 수행하자, QwenClawBench가 47.9에서 55.0으로 올랐다고 README 표는 적습니다. MCP 제어 시뮬레이션에서는 Tool Decathlon 36.1, MCPMark 33.8을 기록해 무제어 시뮬레이션보다 나은 결과를 보였습니다. Search 도메인의 가상 세계 구성 실험에서는 WideSearch F1 Item이 34.02에서 50.31로 올랐다는 수치도 있습니다.

이 실험들이 겨냥하는 병목은 실제 환경 실행 비용입니다. 에이전트를 브라우저, 터미널, 모바일 운영체제, 사내 API에 붙여 학습시키려면 느리고 비싸며 위험합니다. 로그를 남겨도 개인정보나 내부 코드가 섞일 수 있습니다. 월드 모델이 충분히 충실하다면, 팀은 실제 환경을 계속 때리지 않고도 수천 개 변형 환경을 만들어 후보 정책을 시험할 수 있습니다. 권한이 큰 도구 호출을 보내기 전, "이 행동 뒤에 어떤 화면과 파일 상태가 나올까"를 먼저 묻는 구조가 가능합니다.

하지만 이 접근은 실패하면 더 위험할 수도 있습니다. 시뮬레이터가 그럴듯하지만 틀린 다음 상태를 만들면 에이전트는 잘못된 자신감을 얻습니다. 터미널에서 파일이 남아 있다고 예측했는데 실제로는 삭제됐거나, 브라우저에서 버튼이 비활성이라고 예측했는데 실제로는 결제가 진행되는 식의 오류는 권한 승인보다 앞단에서 사고를 만듭니다. 그래서 월드 모델은 실제 환경을 대체한다기보다, 실행 전 후보 행동을 줄이고 실패 가능성을 표시하는 보조 장치로 먼저 쓰는 편이 현실적입니다.

채점 방식도 주의해야 합니다. AgentWorldBench는 형식, 사실성, 일관성, 현실성, 품질을 5차원으로 봅니다. 데이터셋 카드는 평가 스크립트가 세계 모델 추론, LLM judge 채점, 점수 집계의 세 단계로 움직인다고 설명합니다. 이 구조는 열린 환경 관측을 평가하기 위해 필요하지만, 평가자 모델과 프롬프트가 점수에 영향을 줄 수 있습니다. 개발팀이 자체 도메인에 도입하려면 같은 방식의 judge 점수만 보지 말고 실제 작업 성공률, 위험 행동 회피율, 사람이 검토해야 하는 로그 양을 함께 봐야 합니다.

Hacker News 반응은 이 양면성을 잘 보여 줬습니다. 6월 24일 올라온 arXiv 스토리는 199점과 55개 댓글을 기록했습니다. 한 댓글은 일반 LLM이 현재 상태에서 행동을 고르는 정책이라면, Qwen-AgentWorld는 상태와 행동에서 다음 상태를 예측하는 모델이라고 정리했습니다. 다른 댓글은 이것이 후보 행동의 결과를 실행 전에 살피는 두 번째 패스가 될 수 있다고 봤습니다. 에이전트가 바로 도구를 호출하지 않고, 먼저 예상 결과를 놓고 행동 공간을 탐색할 수 있다는 해석입니다.

동시에 신뢰도에 대한 의심도 있었습니다. 일부 독자는 첫 번째 그림 하단의 막대 길이와 수치 라벨이 맞지 않는다고 지적했습니다. 다른 댓글은 표의 수치를 기준으로 보면 라벨 자체는 맞지만 그림 막대 길이가 어긋난다고 정리했습니다. 그래서 이번 글에서도 공식 이미지보다 README와 데이터셋 카드의 표 수치를 기준으로 읽었습니다. 벤치마크 주장은 숫자 하나보다 재현 가능한 데이터, 평가 스크립트, 공개 가중치, 외부 재측정이 붙을 때 더 단단해집니다.

Qwen-AgentWorld의 실무 사용처는 세 가지로 나눌 수 있습니다. 첫째, 사내 에이전트 평가입니다. 팀은 기존 작업 로그를 익명화해 비슷한 환경 관측 예측 테스트를 만들고, 모델이 위험한 다음 상태를 얼마나 잘 맞히는지 볼 수 있습니다. 둘째, 도구 호출 전 검토입니다. 파일 삭제, 결제, 권한 변경, 외부 전송처럼 비용이 큰 행동은 실제 호출 전에 월드 모델 예측을 붙여 사람이 검토할 수 있습니다. 셋째, 강화학습용 환경 확장입니다. 실제 API를 계속 호출하지 않고도 실패 사례를 많이 만들 수 있습니다.

코딩 에이전트 관점에서는 SWE와 Terminal 도메인이 가장 먼저 와닿습니다. 지금의 코딩 에이전트는 패치를 만들고 테스트를 돌린 뒤 실패 로그를 읽습니다. AgentWorld식 접근은 그 전에 "이 패치를 적용하면 diff가 어떻게 바뀌고, 테스트 출력이 어떻게 나올지"를 예측하는 보조 모델을 붙일 수 있습니다. 정확도가 충분하면 불필요한 테스트 실행을 줄일 수 있고, 위험한 셸 명령을 미리 걸러낼 수 있습니다. 정확도가 부족하면 오히려 실제 테스트보다 느린 추측 단계만 하나 더 생깁니다.

브라우저와 모바일 에이전트에서는 DOM과 UI 계층 예측이 중요합니다. Google의 Gemini 컴퓨터 사용 프리뷰처럼 실제 브라우저 조작을 하는 에이전트는 안전판과 확인 단계가 필요합니다. Qwen-AgentWorld는 다른 방향에서 같은 문제를 봅니다. 사용자의 클릭을 실제 페이지에 보내기 전에 다음 HTML이나 UI 계층을 예측해, 결제·삭제·권한 변경 같은 민감 화면으로 넘어가는지 살필 수 있습니다. 다만 실제 웹은 광고, 실험군, 세션, 지연 로딩, 지역 설정에 따라 DOM이 흔들리므로 예측 모델만으로 안전을 보장할 수 없습니다.

MCP 도메인도 눈여겨볼 만합니다. MCP는 에이전트가 외부 도구와 데이터를 구조화된 방식으로 호출하게 만들지만, 도구 결과는 서버 상태와 권한 정책에 따라 달라집니다. AgentWorldBench의 MCP 샘플은 API 서버 응답, 데이터베이스 상태, 서비스 프로토콜을 다룹니다. 기업 팀이 MCP 서버를 운영한다면, 월드 모델은 특정 도구 호출이 어떤 상태 변화를 만들지 사전에 설명하는 테스트 보조 장치가 될 수 있습니다. 특히 권한 경계와 감사 로그를 제품 기능으로 묶는 팀에는 좋은 평가 아이디어입니다.

이번 공개는 최근 에이전트 뉴스의 흐름과도 맞닿아 있습니다. Braintrust와 Hugging Face의 실행 흔적 분석은 같은 모델이라도 하네스가 바뀌면 성공률이 크게 달라진다는 점을 보여 줬습니다. vLLM Semantic Router의 Micro-Agent는 모델 API 뒤에서 라우팅과 품질 관측을 루프로 돌렸습니다. Qwen-AgentWorld는 그보다 앞단에서 "환경 자체를 언어 모델로 예측한다"는 선택지를 꺼냈습니다. 모델, 하네스, 라우터, 권한, 시뮬레이터가 에이전트 운영 스택의 서로 다른 부품으로 나뉘는 중입니다.

지금 당장 결론은 조심스럽습니다. 공개 모델이 있고 벤치마크도 열렸지만, 가장 강한 성능 수치는 비공개 397B 모델에 묶여 있습니다. 공개 35B 모델은 크기가 작지 않고, 평가에는 LLM judge 의존성이 있습니다. 공식 그림의 라벨 논란도 발표 품질에 대한 불필요한 의심을 만들었습니다. 그래도 개발팀이 얻을 수 있는 질문은 선명합니다. 에이전트가 행동하기 전에 그 행동의 결과를 예측하게 만들면, 실패 비용과 권한 위험을 얼마나 줄일 수 있는가입니다.

앞으로 확인할 지점은 재현성입니다. 첫째, 외부 연구자가 AgentWorldBench를 같은 스크립트로 돌려 35B-A3B 점수를 재현하는지 봐야 합니다. 둘째, 실제 제품 로그에서 월드 모델 예측이 인간 검토 시간을 줄이는지 확인해야 합니다. 셋째, 위험 행동 탐지에서 거짓 안심이 얼마나 나오는지 측정해야 합니다. 넷째, vLLM과 SGLang 서빙 비용이 실제 에이전트 파이프라인에서 받아들일 만한지 봐야 합니다. Qwen-AgentWorld는 완성된 안전장치라기보다, 에이전트 실행을 "실제 호출 전 예행연습"으로 바꾸려는 공개 실험입니다.