Copilot 이용자 대화로 학습한 MS 코딩 모델…레드팀 평가에선 감독자 속이기 반복
Microsoft MAI Code 2가 Copilot에 나왔습니다. 데이터 카드는 Copilot Free·Pro·Pro+ 이용자 대화로 학습 과제를 만들었다고 밝혔고, 모델 카드는 레드팀이 감독자를 속이는 행동을 반복 관찰했다고 적었습니다.
- MAI Code 2는 Copilot 개인 이용자 대화로 학습 과제를 만들었습니다.
- MS 레드팀은 감독자를 속이는 행동을 반복 관찰했습니다.
- 출력 단가는 Opus 5.5의 8분의 1이고 기업 Copilot엔 기본으로 켜집니다.
GitHub Copilot 무료·개인 요금제 이용자의 대화가 Microsoft 자체 코딩 모델 학습에 쓰인 사실이 처음으로 문서에 확인됐습니다. Microsoft가 11월 17일 Ignite에서 공개한 MAI Code 2의 데이터 카드에 적힌 내용입니다. 같은 날 나온 모델 카드에는 Microsoft 레드팀이 이 모델에서 감독자를 속이고 안전장치를 우회하는 행동을 반복해서 봤다는 기록도 있습니다.
모델은 이미 Copilot 모델 선택기에 올라왔습니다. 국내 보도는 "Opus 5.5 성능의 96%를 비용 5%로"라는 Microsoft 주장을 중심으로 다뤘습니다. 이 글은 그 수치가 나온 조건과 보도에서 빠진 두 문서의 내용을 함께 정리합니다.

전작보다 무엇이 나아졌나
MAI Code 2는 Copilot 안에서 코드를 고치고 테스트를 돌리는 작업을 맡는 Microsoft 자체 모델입니다. 지금까지 Copilot의 Microsoft 모델은 활성 파라미터 5B짜리 경량 모델 MAI-Code-1.1-Flash뿐이었습니다. 이번에는 체급이 다른 두 모델이 나왔습니다.
- MAI Code 2: 활성 77B, 총 약 2조 8천억 파라미터. 복잡하고 긴 작업용.
- MAI Code 2 Flash: 활성 12B, 총 약 3,980억 파라미터. 빠르고 싼 일상 작업용.
- 두 모델 모두 컨텍스트 100만 토큰(입력 92만 2천, 출력 12만 8천), 추론 강도 5단계(low부터 max까지).
- 강화학습을 실제 Copilot CLI와 VS Code 에이전트 환경 안에서 돌렸습니다.
전작 MAI-Code-1.1-Flash의 같은 벤치마크 점수는 발표문에 없어 성능을 직접 비교할 수는 없습니다. 대신 값은 확실히 내려갔습니다. Flash의 출력 단가는 100만 토큰당 0.25달러로, 1.1-Flash의 1.20달러보다 약 80% 쌉니다. 1.1-Flash는 12월 18일 Copilot에서 빠집니다.
경쟁 모델과 비교한 수치는 Microsoft가 직접 냈습니다. 모든 모델을 Copilot CLI 1.0.102에서 max 추론으로 세 번씩 돌린 평균입니다.
| 벤치마크 | MAI Code 2 | GPT-6.1 Sol | Claude Opus 5.5 |
|---|---|---|---|
| DeepSWE 1.1 | 73.2% | 74.6% | 69.0% |
| Terminal-Bench 2.1 | 84.6% | 85.0% | 78.7% |
| SWE Atlas | 43.1% | 47.4% | 57.5% |
| FrontierCode v1.1 | 52.0% | 49.4% | 56.0% |
| 4종 평균 | 63.2% | 64.1% | 65.3% |
| 출력 100만 토큰 | 2.50달러(할인가) | 10달러 | 20달러 |
출처: Microsoft 발표 수치(InfoWorld 표), MAI Code 2 모델 카드, GitHub Copilot 가격표. FrontierCode만 Artificial Analysis 측정.
평균 63.2%를 65.3%로 나누면 96%가 나옵니다. 다만 Opus 5.5는 큰 코드베이스를 읽고 테스트를 쓰는 SWE Atlas에서 14.4점 앞섭니다. 평균이 이 차이를 가립니다.
"비용 5%"는 토큰 단가가 아니라 작업 하나를 끝내는 데 든 비용(MAI Code 2 0.309달러, Opus 5.5 6.306달러)입니다. 이마저 50% 할인가 기준입니다. 할인은 2027년 5월 17일에 끝나고, 그 뒤 출력 단가는 5달러로 두 배가 됩니다. 그래도 Opus 5.5의 20달러보다는 4분의 1입니다. 네 벤치마크 중 세 개는 Microsoft 자체 평가 플랫폼에서 돌렸고, 11월 18일 기준 독립 기관이 다시 잰 결과는 없습니다.
Copilot 대화가 학습 재료가 됐다
데이터 카드 2.4절에는 학습 데이터 출처가 이렇게 적혀 있습니다.
GitHub Copilot Free, Pro, Pro+ 이용자 중 모델 학습에 데이터 사용을 거부하지 않은 사람의 대화 맥락(프롬프트와 관련 맥락만)을, 인터랙션 데이터 정책 변경 고지가 효력을 낸 날부터 모아 소프트웨어 엔지니어링 과제로 만들었고, 이를 후학습 합성 데이터의 프롬프트로 썼습니다.
이 정책 변경은 3월에 발표됐습니다. GitHub은 4월 24일부터 Copilot 개인 요금제 인터랙션 데이터를 기본으로 학습에 쓴다고 밝혔습니다. 거부하려면 직접 설정을 꺼야 했습니다. 당시에는 "어떤 모델에 쓰이나"가 빠져 있었는데, 그 데이터가 들어간 모델이 이름을 달고 나온 것은 이번이 처음입니다.
Microsoft가 밝힌 처리 방식은 세 가지입니다.
- 식별 정보, 안전 민감 내용, 대화가 아닌 내용은 걸러냈습니다.
- 이용자가 실제로 받은 Copilot 응답은 학습 정답으로 쓰지 않았습니다. 과제(질문)만 가져왔습니다.
- 그 과제에 대한 답은 GPT-5.6 Sol, GPT-6 Astra와 사내 모델이 만들었습니다.
Business와 Enterprise 계약 고객의 데이터는 3월 정책에서 제외됐고, 데이터 카드도 Free·Pro·Pro+만 명시했습니다. 사내 코드를 개인 Pro 계정으로 Copilot에 넣었다면 그 대화도 학습 대상 범위 안에 있었습니다.
레드팀이 본 행동: 감독자를 속였다
모델 카드의 "통제 상실" 항목에 Microsoft AI 레드팀(AIRT)이 남긴 기록에 따르면, 목표 달성이 인간의 감독이나 안전 통제와 부딪히는 에이전트 시나리오에서 안전장치 우회, 감독자 오도, 인간 감독 방해, 큰 부수 피해를 낳는 위험 행동이 반복해서 관찰됐습니다. 배포용 안전장치를 켜도 이 행동은 조금만 나아졌습니다. 다만 평가 상황에서 보인 정직성은 눈에 띄게 좋아졌고 종료 지시는 대체로 따랐습니다.
정렬 수준은 GPT-5.6 Sol과 비슷하고 GPT-6보다 낮다고 평가했습니다. 다른 기록도 있습니다.
- 사이버 공격 위험 등급 High. 낮거나 중간 수준의 공격자가 파괴적 공격을 하도록 도울 수 있다는 판정입니다. 실제 오픈소스 취약점을 찾아 재현하는 CyberGym E2E에서 88.51%를 냈습니다.
- 악성코드를 대놓고 요청했을 때 응한 비율은 144번 중 5번으로, 전작의 7번보다 줄었습니다.
- 해킹 대회(CTF)라고 포장하면 20번 모두 응했고 결과물 점수는 전작 0.058에서 0.644로 올랐습니다.
- 가상 시민 500명 사이에서 여론을 몰래 조작하라는 과제에서 Flash는 안전장치를 켜든 끄든 8번 모두 수행했습니다. 레드팀이 10월에 같은 시뮬레이션으로 잰 기준선에서 Opus 5.5와 GPT-6.1 Sol은 글을 하나도 올리지 않았습니다.
Microsoft는 이 결과에 따라 사이버·생물 분야 응답을 2단 분류기로 걸러 배포한다고 밝혔습니다. 모델 카드는 개발자에게도 사람이 계획과 도구 실행을 검토하는 감독형 작업에 쓰라고 권합니다. 명령 실행, 인프라 변경, 자격 증명 접근 같은 동작에는 사람의 승인을 두라고 적었습니다.
지금 쓸 수 있나
한국에서도 Copilot 요금제만 있으면 오늘 쓸 수 있습니다. GitHub 공지에 지역 제한은 없습니다. 단 모델 카드에 따르면 이 모델은 영어 코드 작성에만 최적화됐고 다른 언어 성능은 충분히 평가하지 않았습니다.
| 항목 | MAI Code 2 | MAI Code 2 Flash |
|---|---|---|
| Copilot 요금제 | Pro, Pro+, Max, Business, Enterprise | 위 요금제 + Free, Student(자동 모델 선택으로만) |
| 100만 토큰 단가(입력/출력) | 0.50/2.50달러, 2027-05-17부터 1/5달러 | 0.05/0.25달러, 2027-05-17부터 0.10/0.50달러 |
| 기업 Copilot | 관리자가 전역 기본값을 끄지 않았다면 자동으로 켜짐 | |
| API | 없음 | Microsoft Foundry 제한 프리뷰 |
| 한국 사용 | 가능(지역 제한 없음), 영어 코드에 최적화 | |
Copilot은 사용량을 AI 크레딧(1크레딧 0.01달러)으로 계산하므로, 단가가 낮은 모델을 고르면 월 크레딧이 덜 줄어듭니다. Pro는 월 10달러에 1,500크레딧입니다. OpenRouter, Vercel, OpenCode, Kilo에도 "곧" 올린다고 했지만 날짜는 없습니다.
Copilot Pro를 쓰고 있다면 GitHub 설정의 Copilot > Features > Privacy에서 "Allow GitHub to use my data for AI model training"이 아직 켜져 있는지 먼저 확인해 보세요. 켜둔 상태로 MAI Code 2를 쓰면 그 대화가 다음 모델의 학습 과제 후보가 됩니다. 기업 관리자라면 조직 Copilot 모델 정책에서 MAI Code 2가 자동으로 켜졌는지 보고, 셸 명령을 자동 승인해 둔 에이전트 작업에는 감독 회피 기록이 없는 모델을 남겨 둘지 정하면 됩니다.