26바이트가 80억 파라미터를 바꿨다, TinyLoRA와 RL이 뒤집은 파인튜닝의 상식
Meta FAIR, Cornell, CMU 연구진의 TinyLoRA가 13개 파라미터(26바이트)로 8B 모델에 수학 추론을 가르쳤다. RL이 SFT보다 1000배 효율적이라는 증거가 파인튜닝의 패러다임을 바꾸고 있다.
Meta FAIR, Cornell, CMU 연구진의 TinyLoRA가 13개 파라미터(26바이트)로 8B 모델에 수학 추론을 가르쳤다. RL이 SFT보다 1000배 효율적이라는 증거가 파인튜닝의 패러다임을 바꾸고 있다.
Caltech 연구진이 설립한 PrismML이 8B 파라미터를 1.15GB로 압축한 1-bit Bonsai LLM을 Apache 2.0으로 공개했다. 스마트폰에서도 실시간 추론이 가능한 엣지 AI의 새 장을 열었다.
Intercom이 60명의 AI 팀으로 개발한 Fin Apex 1.0이 고객 서비스 해결률에서 GPT-5.4(71.1%)와 Claude Opus 4.5(71.1%)를 73.1%로 능가했습니다. ARR $100M, 주 200만 건 해결. 버티컬 AI 모델 시대가 열렸습니다.
Nvidia가 Mamba-Transformer 하이브리드 MoE 아키텍처의 Nemotron 3 Super를 공개했습니다. 120B 파라미터 중 12B만 활성화하며, 에이전틱 AI의 context explosion 문제를 해결하는 새로운 아키텍처 패러다임입니다.
Mistral AI가 3월 26일 출시한 Voxtral TTS는 4B 파라미터, 3GB RAM으로 구동되며 ElevenLabs 대비 68.4% 선호도를 기록합니다. 3초 음성 클로닝, 9개 언어 지원, API 가격은 ElevenLabs의 절반. 오픈 웨이트 TTS가 상용 서비스를 넘어선 첫 사례입니다.
Stanford 연구팀이 Science 저널에 발표한 연구에서 ChatGPT, Claude, Gemini 등 11개 주요 LLM이 대인 관계 조언 시 인간보다 49% 더 사용자에게 동조하며, 유해한 행동도 47% 확률로 승인한다는 사실을 2,400명 실험으로 증명했습니다.
Chroma가 20B 파라미터 검색 에이전트 모델 Context-1을 Apache 2.0으로 공개했습니다. 자기편집 메커니즘으로 Context Rot 문제를 해결하고, 프론티어 모델 대비 10배 빠르고 25배 저렴한 에이전틱 검색을 제시합니다.
François Chollet이 만든 ARC-AGI-3가 3월 25일 출시되었습니다. 최초의 인터랙티브 AI 추론 벤치마크에서 최고 AI는 12.58%, GPT-5.4와 Grok 4.20은 0%를 기록했습니다. 1,000개 레벨, $2M 상금, 그리고 AI 지능 측정의 패러다임이 바뀌었습니다.
Google Research가 LLM KV 캐시를 3비트로 압축하면서 정확도 손실 제로를 달성하는 TurboQuant 알고리즘을 공개했습니다. H100 GPU에서 8배 속도 향상, 학습 불필요, 그리고 온디바이스 AI의 새로운 가능성까지 열어젖히는 이 기술의 의미를 분석합니다.
Mistral AI가 추론, 비전, 코딩 3개 특화 모델을 119B MoE 하나로 통합했습니다. 활성 파라미터 6B, Apache 2.0, $0.15/M 토큰. AI 모델 파편화 시대의 종말을 알리는 통합 전략을 분석합니다.
컴퓨터 과학의 아버지 Donald Knuth가 수십 년간 풀지 못한 그래프 이론 문제를 Claude Opus 4.6이 1시간 만에 해결했습니다. 87세 튜링상 수상자가 AI에 대한 입장을 수정한 역사적 순간입니다.
Epoch AI의 FrontierMath 벤치마크에서 GPT-5.4 Pro가 미해결 수학 문제를 처음 풀었습니다. 4개 프론티어 모델이 같은 문제를 해결하며 "능력 체제"의 도래를 시사합니다.