코딩 에이전트 3종에 도구를 고르게 했더니 42%만 일치, LangChain은 194번 언급에 4번 선택

AI 요약

• Claude Code·Codex·Cursor가 같은 도구를 고른 건 42%였습니다.
• 저장소가 TypeScript면 Resend, Python이면 SendGrid가 이겼습니다.
• 실험을 낸 회사는 이 선택에 개입하는 서비스를 파는 곳입니다.

결제는 Stripe, 데이터베이스는 Neon, 이메일은 Resend. 코딩 에이전트에게 "알아서 하나 골라줘"라고 하면 나오는 답이 정해져 있다는 느낌은 다들 받았지만, 실제로 재본 사람은 없었습니다. 9월 3일 Armature가 그 측정을 공개했습니다. Claude Code, Codex, Cursor를 실제 저장소에 넣고 서드파티 서비스를 고른 뒤 코드까지 작성하게 한 세션 16,893회입니다. 추천만 받고 끝낸 게 아니라 설치와 코드 변경까지 확인했습니다.

가장 눈에 띄는 숫자는 42%입니다. 같은 조건에서 세 에이전트가 같은 도구를 고른 비율입니다. 나머지 58%에서는 어느 에이전트를 켜뒀느냐가 그 프로젝트가 앞으로 몇 년 쓸 결제사와 데이터베이스를 갈랐습니다.

무엇을 어떻게 쟀나

실험 설계부터 봅니다. 이 숫자를 어디까지 믿을지가 거기서 갈립니다.

Armature는 공개 GitHub 저장소 수천 개에서 언어, 프레임워크, 서드파티 구성, 팀 규모, 코드베이스 연식 분포를 뽑았습니다. 오픈소스 저장소는 스타트업 쪽에 쏠려 있어 대기업 실태와 다르므로, 공개 통계로 분포를 보정한 뒤 10개 언어에 걸친 저장소 75개를 합성했습니다. 회사명과 git 히스토리와 API 키는 가짜지만 락파일은 npm 같은 실제 레지스트리와 대조한 진짜입니다.

요청하는 사람도 네 종류로 나눴습니다. 증상만 말하는 바이브 코더, 원하는 상태와 분야 이름을 말하는 주니어, 요구사항과 피할 것을 짚는 시니어, 컴플라이언스와 조달 조건을 다는 대기업 엔지니어입니다. 프롬프트 변형은 1,163개입니다.

여기서 설계 하나가 결과를 크게 바꿨습니다. Armature는 Gemini 3.7 Flash에게 프로젝트 주인 역할을 시켜 대화에 끼워 넣었습니다. 처음부터 구현만 시키면 에이전트가 승인을 물을 상대가 없어 전부 직접 만드는 쪽으로 치우쳤기 때문입니다. 사람 역할을 넣자 객체 스토리지 실험에서 늘 Amazon S3를 쓰던 Cursor 세션이 Cloudflare R2를 고르기 시작했습니다.

판정도 Gemini 3.7 Flash가 맡았습니다. 대화와 실제 코드 diff를 함께 읽고 최종 선택자를 기록했습니다. 저장소가 이미 특정 제공자를 정해둔 세션처럼 비교가 성립하지 않는 경우는 걸러냈고, 16,893회 중 5,292 세션이 1차 공개 대상으로 남았습니다. 나머지는 폐기가 아니라 2차 공개용으로 보관 중입니다.

세 에이전트가 같은 답을 낸 건 42%

에이전트마다 근거를 어디서 가져오는지가 달랐고, 그 차이가 결론을 갈랐습니다.

Claude Code는 사전 지식이 약한 분야에서는 다르게 움직였습니다. 에이전트 샌드박스처럼 최근에 생긴 분야에서는 검색 비율이 약 80%까지 올라갔습니다. 모르는 분야는 찾아보고, 아는 분야는 기억으로 답합니다.

이 차이가 실제 선택으로 이어진 사례가 음성 에이전트 분야입니다. 같은 요청에 Claude Code는 Twilio, Codex는 OpenAI Realtime API, Cursor는 Vapi를 골랐습니다. 셋 다 틀린 답은 아니지만, 셋을 동시에 쓸 수는 없습니다.

저장소 언어와 가격 페이지 한 줄이 승자를 바꾼다

에이전트가 도구를 고를 때 가장 크게 작동한 변수는 요청 내용이 아니라 코드가 어떤 언어로 쓰여 있는가였습니다. 똑같은 이메일 발송 요청을 언어만 다른 저장소 네 곳에 던졌더니 승자가 네 번 다 달랐습니다.

배포 플랫폼도 같았습니다. Vercel은 TypeScript 저장소에서 이겼고 Next.js를 쓰는 저장소에서는 100% 선택됐지만, Python 저장소에서는 한 번도 추천되지 않았습니다. 그 자리는 Render가 가져갔습니다.

대화에 이름이 나오는 것과 실제로 설치되는 것도 전혀 다른 일이었습니다.

PayPal이 언급된 139세션 중 124세션을 Stripe가 가져갔습니다. 프레임워크 분야에서 가장 많이 언급된 LangChain은 194번 이름이 나오고 4번 설치됐습니다. 에이전트는 후보를 나열할 때는 교과서적으로 다 적고, 고를 때는 좁게 고릅니다.

패배 사유가 성능이 아닌 경우도 있었습니다. Mailgun은 무료 플랜 설명에 적힌 "1일 보관" 문구를 에이전트가 읽고 Postmark에게 자주 졌습니다. Supabase는 데이터베이스만 필요한 요청에 인증·스토리지·실시간이 묶인 요금제를 보여주다 Neon에게 밀렸습니다. 5,292세션 중 388세션이 운영 부담을, 195세션이 비용을 탈락 근거로 들었는데, Armature는 상당수가 실제 결격 조건이 아니라 정보를 늘어놓은 방식 때문이었다고 적었습니다.

이 실험을 낸 회사는 그 선택에 개입하는 서비스를 판다

Armature(YC P26)는 개발 도구 회사에 "코딩 에이전트에게 선택받게 해주는" 성장 서비스를 파는 회사입니다. 블로그 첫 줄과 Hacker News 스레드 첫 댓글에 공동창업자가 직접 밝혔습니다. 296점까지 오른 그 스레드의 상당 부분은 실험 결과가 아니라 이 사업 모델을 향한 반발이었습니다.

가장 날 선 반응은 검색 SEO의 재현 우려였습니다. 앞 세대가 검색 결과를 조작해 웹을 못 쓰게 만들었고 사람들이 AI로 옮겨간 이유가 그것인데, 같은 일을 에이전트에 하려 한다는 지적입니다. 공동창업자의 반론은 지금 홍보 없이 두면 모델이 학습해둔 기존 강자만 계속 뽑히고 노출이 적은 신생 도구는 기회를 못 잡는다는 것이었습니다. 어느 쪽이 맞든, 위 표의 42%와 언급 194회 대 선택 4회라는 격차가 에이전트 대상 마케팅에 값이 매겨질 만한 시장이라는 사실에는 양쪽 다 동의합니다.

측정 방법을 겨냥한 반론도 나왔습니다. Claude Code의 낮은 웹 검색 비율이 모델 성향이 아니라 도구 권한 설정 때문일 수 있다는 지적입니다. Claude Code에서 WebFetch는 도메인마다 사용자에게 허용을 묻고 WebSearch는 따로 켜야 하는 도구라, 에이전트 입장에서는 저장소 안 파일을 읽는 쪽이 마찰이 가장 적습니다. Codex에는 그런 마찰이 없습니다. 도메인을 미리 허용 목록에 넣어두면 같은 에이전트도 훨씬 자주 웹을 봅니다. 같은 모델이라도 감싸는 도구 껍데기에 따라 결과가 갈린다는 이야기는 에이전트 흔적 1,781개를 분석해 하네스 효과가 모델 차이보다 7배 컸다는 측정에서도 나왔습니다.

리더보드와 개별 세션 트레이스는 armature.tech/leaderboards에서 로그인이나 API 키 없이 볼 수 있고, 한국에서도 지역 제한 없이 열립니다. 프롬프트, 에이전트의 사고 과정, 실제 코드 diff까지 세션 단위로 공개돼 있어 결론만 받아들이지 않고 근거를 직접 확인할 수 있습니다. 벤더가 자기 분야 맞춤 실험이나 순위 최적화를 요청하는 것만 유료 상담 대상입니다.

이번 주에 에이전트에게 서드파티 서비스 선택을 맡길 일이 생기면, 승인 버튼을 누르기 전에 같은 요청을 다른 에이전트 하나에 더 던져 보면 됩니다. 두 답이 갈리면 그 분야는 58% 쪽이고, 에이전트 근거가 아니라 직접 비교해야 할 자리입니다. 반대로 개발 도구를 만드는 쪽이라면 자기 무료 플랜과 가격 페이지를 먼저 열어 봅니다. Mailgun의 "1일 보관"처럼 에이전트가 결격으로 읽을 문구가 있는지부터 찾아보는 편이 낫습니다.