Devlery
Blog/AI

Kimi K3 독립 평가 3위, 가격 3배 올리고 가중치는 7월 27일

Moonshot AI가 2.8조 파라미터 Kimi K3를 공개했습니다. 독립 평가 3위에 올랐지만 출력 토큰값은 3.75배 뛰었고, 가중치 배포는 아직 시작되지 않았습니다.

Kimi K3 독립 평가 3위, 가격 3배 올리고 가중치는 7월 27일
AI 요약
  • 무슨 일: Moonshot AI가 7월 16일 Kimi K3를 공개했습니다. 총 2.8조 파라미터 MoE, 100만 토큰 컨텍스트, 네이티브 비전 입력.
    • 896개 expert 중 16개만 활성화해 실제 계산에 쓰이는 파라미터는 약 50B입니다.
  • 성적: Artificial Analysis Intelligence Index 57점 3위. Fable 5(60)와 GPT-5.6 Sol(59) 바로 다음이고 Opus 4.8과 동급입니다.
  • 가격: 입력 100만 토큰 $3.00, 출력 $15.00. 직전 K2.6의 $0.95/$4.00에서 3배 넘게 올라 Claude Sonnet 5와 같은 구간이 됐습니다.
  • 주의점: "역대 최대 오픈 가중치 모델"이지만 가중치는 아직 배포 전입니다. Modified MIT로 7월 27일까지 공개 예정. 환각률은 39%에서 51%로 나빠졌습니다.

Moonshot AI가 7월 16일 Kimi K3를 공개했습니다. 총 2.8조 파라미터의 MoE 모델로, 회사는 이를 "최초의 오픈 3T급 모델"이라고 부릅니다. 지금까지 공개된 오픈 가중치 모델 중 가장 큽니다.

다만 발표에는 단서가 붙습니다. 가중치는 아직 내려받을 수 없고, 값은 직전 모델의 3배가 됐습니다.

2.8조 파라미터를 어떻게 굴리나

파라미터 2.8조를 전부 계산에 쓰는 것은 아닙니다. K3는 896개의 expert 중 토큰당 16개만 활성화합니다. 활성 비율이 2% 미만이라, 실제로 매 토큰에 관여하는 파라미터는 약 50B 수준입니다. 모델 이름이 커뮤니티에서 2.8T-A50B로 불리는 이유입니다.

나머지 설계는 긴 컨텍스트를 싸게 처리하는 데 몰려 있습니다.

  • Kimi Delta Attention(KDA): 하이브리드 선형 어텐션. Moonshot은 100만 토큰 컨텍스트에서 디코딩이 최대 6.3배 빨라진다고 밝혔습니다.
  • Attention Residuals(AttnRes): 추가 비용 2% 미만으로 학습 효율을 약 25% 높였다는 설명입니다.
  • Stable LatentMoE, per-head Muon 최적화, SiTU 활성함수 등 자체 구성요소.

컨텍스트는 100만 토큰이고, 이미지 입력을 받는 네이티브 멀티모달입니다. 출력은 텍스트만 나옵니다.

독립 평가가 매긴 자리

Artificial Analysis가 매긴 Intelligence Index에서 K3는 57점으로 3위입니다. Claude Fable 5가 60점, GPT-5.6 Sol이 59점이고, K3는 Claude Opus 4.8과 같은 구간에 들어갔습니다. 오픈 가중치 모델이 미국 최상위 상용 모델 바로 뒤에 붙은 것은 이번이 처음입니다.

실무에 가까운 장기 작업 평가에서는 격차가 더 줄어듭니다. GDPval-AA v2는 실제 업무 과제 수행을 Elo로 매기고 인간 기준선을 1,000으로 잡은 평가입니다.

Artificial Analysis GDPval-AA v2 리더보드에서 Kimi K3가 Elo 1668로 Fable 5와 GPT-5.6 Sol 다음 3위에 오른 막대 차트

K3는 1,668점입니다. Fable 5(1,750)와 GPT-5.6 Sol(1,748)에는 못 미치지만 Claude Sonnet 5(1,607), Opus 4.8(1,600), Grok 4.5(1,535), GLM-5.2(1,514)를 모두 앞섭니다. 같은 차트에서 직전 모델 Kimi K2.6은 1,191점이었습니다. 한 세대 만에 477점이 올랐습니다.

이틀 전 발표된 Thinking Machines의 Inkling은 같은 차트에서 1,085점입니다. 미국 오픈 가중치 진영의 신작보다 583점 위입니다.

나머지 독립 지표는 이렇습니다.

  • AutomationBench-AA: 53%로 전체 1위. Zapier의 에이전트 워크플로 평가를 Artificial Analysis가 구현한 벤치마크입니다.
  • AA-Briefcase: Elo 1,547로 Fable 5 다음 2위.
  • 토큰 효율: 인덱스 전체를 도는 데 출력 토큰 132M을 썼습니다. K2.6의 166M보다 21% 적으면서 점수는 13점 올랐습니다.

코딩 쪽은 Moonshot 자체 발표 수치라 따로 봐야 합니다. Terminal-Bench 2.1에서 88.3점으로 GPT-5.6 Sol(88.8)에 0.5점 차 2위, SWE Marathon 42.0과 ProgramBench 77.8은 1위라고 밝혔습니다. Arena.ai의 Frontend Code Arena에서는 1,679점으로 Fable 5(1,631)를 제치고 1위에 올랐고, 7개 프론트엔드 도메인 중 6개에서 선두를 잡았습니다.

중국 오픈 모델의 초저가가 끝났습니다

이번 릴리스에서 크게 달라진 쪽은 벤치마크보다 가격표입니다.

100만 토큰당Kimi K2.6Kimi K3인상 폭
입력$0.95$3.003.2배
출력$4.00$15.003.75배

$3 / $15는 Claude Sonnet 5와 같은 구간입니다. 값싼 대안이라는 이유로 중국 오픈 모델을 고르던 팀은 선택 근거 하나를 잃었습니다. 미국 기업 토큰 점유율을 끌어올린 동력이 정확히 그 가격차였기 때문입니다.

절대 비용은 아직 유리합니다. Artificial Analysis 측정으로 인덱스 과제 하나를 푸는 데 K3는 평균 $0.94가 들었습니다. GPT-5.6 Sol이 $1.04, Opus 4.8이 $1.80이니 최상위권 중에서는 싼 편입니다. 캐시된 입력은 90% 할인돼 $0.30까지 내려갑니다.

Simon Willison은 실사용에서 다른 문제를 지적했습니다. K3는 추론 강도가 max 하나뿐이라 짧은 요청에도 토큰을 많이 씁니다. 그가 늘 돌리는 펠리컨 SVG 테스트 한 번에 추론 토큰 13,241개, 25센트가 들었습니다. 단가가 싸도 토큰을 많이 쓰면 청구서는 그만큼 올라갑니다.

아직 받을 수 없는 가중치

"역대 최대 오픈 가중치 모델"이라는 타이틀에는 아직 실물이 없습니다. Moonshot은 Modified MIT 라이선스로 7월 27일까지 전체 가중치를 공개하겠다고 예고했을 뿐입니다.

7월 18일 기준으로 HuggingFace의 moonshotai 계정을 조회하면 가장 최근 저장소는 6월 15일에 올라온 Kimi-K2.7-Code입니다. moonshotai/Kimi-K3는 아직 열려 있지 않습니다. 지금 K3를 쓰려면 kimi.com, 모바일 앱, Moonshot 자사 API, OpenRouter 중 하나를 거쳐야 합니다. 자체 서빙도, 파인튜닝도, 가중치 검증도 다음 주 이후의 일입니다.

품질 쪽에도 확인할 항목이 하나 남아 있습니다. AA-Omniscience Index는 K2.6의 +6에서 +18로 올랐지만, 그 안에서 정확도와 환각률이 반대로 움직였습니다. 정확도는 33%에서 46%로 올랐고, 환각률은 39%에서 51%로 나빠졌습니다. 모르는 것을 모른다고 답하는 빈도가 줄었다는 뜻입니다. 검색이나 문서 요약처럼 사실 정확도가 결과를 좌우하는 작업에서는 K2.6보다 검증 단계를 더 두는 편이 안전합니다.

지금 확인된 사실은 이렇습니다. 오픈 가중치 진영에서 나온 모델이 독립 평가 3위에 올랐고, 그 대가로 가격이 상용 중급 모델 수준까지 올라왔으며, 정작 가중치는 아직 배포되지 않았습니다. 7월 27일에 실제로 배포가 이뤄지고 커뮤니티가 오염되지 않은 평가를 돌려본 뒤에야 이 순위가 그대로 유지되는지 알 수 있습니다.