1B 모델이 753B를 이겼다, Cisco Antares의 1달러 취약점 감사

AI 요약

• 무슨 일: Cisco의 보안 연구조직 Foundation AI가 7월 21일 Antares를 공개했습니다. 코드베이스에서 알려진 취약점이 어느 파일에 있는지 찾는 데 특화한 소형 모델입니다.
  • Antares-350M과 Antares-1B를 Apache 2.0 오픈 웨이트로 Hugging Face(fdtn-ai/antares)에 배포했고, 3B는 예정입니다.
• 성적: 자체 벤치마크 VLoc Bench(500과제)에서 Antares-1B(F1 0.209)가 753B짜리 GLM-5.2(0.186)를 앞섰습니다. GPT-5 Mini, Gemini 3 Pro도 하위에 뒀습니다.
• 비용: 500과제 평가 1회가 $0.71. 같은 평가에 GLM-5.2는 $12.50, GPT-5.5는 $141이 들어 각각 15.2배, 172배 싸다는 계산입니다.
• 주의점: 절대 F1은 0.2대로 여전히 낮습니다. 동작을 이해해야 잡히는 취약점에는 약하고, Cisco도 "1차 분류 가속"일 뿐 보안 도구 전체를 대체하지 않는다고 못 박았습니다.

Cisco의 보안 특화 연구조직 Foundation AI가 7월 21일 Antares를 공개했습니다. 저장소 안에서 알려진 취약점이 어느 파일에 있는지 짚어 주는 작업, 이른바 취약점 위치 탐지(vulnerability localization)에 특화한 소형 언어 모델입니다.

파라미터는 350M과 1B, 곧 나올 3B까지 전부 노트북급에서 돌아갈 크기입니다. 그런데도 자체 벤치마크에서는 수백 배 큰 모델을 이 작업 하나에서만큼은 앞섰다는 것이 발표의 핵심입니다.

1B가 753B를 이긴 벤치마크

Antares는 VLoc Bench라는 500개 과제 벤치마크로 성능을 쟀습니다. 모델이 낯선 저장소를 뒤져 특정 CWE(취약점 유형 분류) 패턴에 해당하는 파일을 찾아내는 과제입니다. 채점 기준은 File F1입니다.

결과는 크기 순서를 뒤집습니다. Antares-1B가 F1 0.209로, 753B 파라미터의 GLM-5.2(0.186)를 앞섰습니다. GPT-5 Mini, Gemini 3 Pro, Qwen3.5-122B도 그 아래에 놓였습니다. 아직 안 나온 Antares-3B는 F1 0.223으로 최상위 GPT-5.5 구성에 근접한다고 Cisco는 밝혔습니다.

한 가지는 솔직하게 짚고 넘어가야 합니다. 1등의 F1도 0.223에 그칩니다. 취약점 위치 탐지는 정답 파일을 정확히 맞히기가 여전히 어려운 과제라는 뜻입니다. Antares의 성과는 "이 작업을 풀었다"가 아니라 "같은 낮은 점수대를 훨씬 싸게 낸다"에 가깝습니다. 비용 이야기가 중요한 이유가 여기 있습니다.

특화 초소형 모델이 큰 모델을 이기는 방법

작은 모델이 큰 모델을 이긴 비결은 범용 성능이 아니라 좁은 훈련입니다. Antares는 IBM Granite 4.0 1B 아키텍처를 베이스로 2단계로 학습했습니다.

• 1단계: 사이버보안 데이터와 추론 데이터로 지도학습 미세조정(SFT)을 합니다.
• 2단계: 실제 취약 저장소 스냅샷을 대상으로 GRPO(Group Relative Policy Optimization) 강화학습을 돌립니다. 정답 파일을 찾아낼수록 보상을 받는 구조입니다.

작동 방식은 챗봇이 아니라 탐색 에이전트에 가깝습니다. 취약점 설명을 받으면 관련 코드 패턴을 검색하고, 후보 파일을 읽고, 새 단서를 반영하고, 막다른 길이면 방향을 틀어 되돌아옵니다. 그러다 가능성이 높은 파일 몇 개로 좁혀 순위 목록과 탐색 궤적을 내놓습니다. Cisco는 이를 "검색하고, 되짚고, 전략을 고치고, 백트래킹하도록" 학습시켰다고 설명합니다.

1B 모델은 40개 layer, hidden dim 2048, GQA 방식의 16개 어텐션 헤드에 4개 KV 헤드, 128K 컨텍스트를 갖습니다. 저장소를 여러 파일에 걸쳐 훑어야 하는 작업이라 긴 컨텍스트가 필요합니다.

진짜 값어치는 비용과 로컬 실행

Antares가 파는 것은 최고 정확도가 아니라 같은 정확도를 훨씬 싸게, 그리고 내 기기 안에서 얻는다는 조합입니다. Cisco가 공개한 런타임 대비 비용 산점도가 이 격차를 그대로 보여 줍니다.

500과제 평가 1회 비용은 Antares-350M이 $0.60, 1B이 $0.71, 3B이 $0.82입니다. 같은 500과제를 GLM-5.2로 돌리면 약 $12.50, GPT-5.5로 돌리면 약 $141이 듭니다.

속도도 함께 벌어집니다. 모델 카드 기준으로 Antares는 전체 500과제를 H100 1장, 16개 병렬 워커로 약 13분에 끝냅니다. GPT-5.5는 같은 평가에 여러 시간이 걸립니다.

비용만큼 중요한 것이 실행 위치입니다. Antares는 전부 로컬에서 돌아갈 만큼 작아서, 민감한 소스코드를 클라우드 API로 보내지 않아도 됩니다. 국립싱가포르대의 Reza Shokri 부교수는 "작은 모델은 로컬에서 돌아가므로 독점 코드가 기기를 떠나지 않는다"고 말했습니다. Cisco가 대학, 공공기관, 비영리, 토큰 비용을 감당하기 어려운 소규모 보안팀을 겨냥한다고 밝힌 것도 이 지점 때문입니다.

F1 0.2가 그은 선

Cisco는 Antares의 용도를 좁게 못 박습니다. 이 모델은 취약점 대응의 1차 분류(triage)를 빠르게 하는 도구이지, 사람 검토나 보안 도구 전체를 대체하지 않습니다. 의존성 분석, 시크릿 스캔, 동적 테스트, 인프라 점검, 위협 모델링, 전문가 리뷰는 여전히 필요하다고 발표문이 직접 적었습니다.

한계도 두 가지를 명시했습니다. 첫째, 동작을 이해해야 잡히는 의미론적 취약점에는 약합니다. 둘째, 탐색에 쓰는 명령이 15개로 제한돼 10MB를 넘는 대형 저장소에서는 훑을 수 있는 범위가 좁아집니다. 지식 컷오프도 2025년 4월 10일이라, 그 이후 공개된 취약점 패턴은 학습에 없습니다.

Antares는 최근 오픈 웨이트 경쟁과 방향이 다릅니다. Kimi K3나 중국 오픈 모델의 토큰 점유 상승이 "더 크고 범용적인 오픈 모델"이었습니다. Antares는 반대로 한 가지 보안 작업만 하는 초소형 특화 모델로 큰 모델의 비용을 우회합니다.

프론티어 모델을 이기는 방법이 더 큰 모델이 아니라 더 좁은 모델일 수 있다는 사례입니다. 다만 그 이김이 실무에서 얼마나 유효한지는 아직 열려 있습니다. F1 0.2대라는 낮은 절대 점수를 실제 저장소에서 보안팀들이 어떻게 받아들이느냐가 다음 관문입니다.