2.03배 토큰 처리량, EAGLE 3.1이 고친 추측의 흔들림
vLLM EAGLE 3.1은 speculative decoding의 attention drift를 줄여 long-context와 코딩 워크로드의 서빙 병목을 겨냥합니다.
vLLM EAGLE 3.1은 speculative decoding의 attention drift를 줄여 long-context와 코딩 워크로드의 서빙 병목을 겨냥합니다.
DigitalOcean AI-Native Cloud는 에이전트 비용 병목이 GPU보다 추론 라우팅, 데이터, 상태, 운영 스택에 있음을 보여줍니다.
DeepSeek V4-Pro의 75% 할인 가격이 정가가 됩니다. 에이전트 추론비와 모델 라우팅 전략을 다시 계산해야 할 신호입니다.
Windows 365 for Agents는 AI 에이전트 실행 위치를 Cloud PC로 격리하며 Agent 365 거버넌스와 결합합니다.
AWS SageMaker AI가 OpenAI 호환 API를 지원하며 기업 LLM 운영의 병목을 모델보다 접속 규격과 인증 계층으로 옮겼습니다.
SonarSource의 660회 Claude Code 실험은 클린 코드가 성공률보다 토큰 비용과 파일 재방문을 줄인다는 점을 보여줍니다.
Claude Platform on AWS는 IAM과 청구는 AWS에 얹지만, Bedrock과 다른 데이터 처리 경계를 갖습니다.
Google LiteRT-LM은 Gemma 4 로컬 추론을 Android, iOS, WebGPU, CLI로 넓히며 AI 앱 배포 표면을 바꿉니다.
Google과 Arm의 LiteRT 최적화는 생성 AI 배포 경쟁이 모델에서 CPU 런타임과 메모리 경계로 내려가고 있음을 보여줍니다.
Denodo의 AWS 통합은 AI 에이전트 경쟁이 모델과 MCP 연결을 넘어 데이터 의미, 권한, 최신성 통제로 이동했음을 보여줍니다.
General Compute가 에이전트용 ASIC 추론 클라우드를 일반 제공하며 GPU 중심 AI 인프라의 지연시간과 전력 병목에 도전합니다.
Anthropic과 AWS가 Claude Platform on AWS를 일반 제공했습니다. Bedrock과 다른 네이티브 Claude 에이전트 배포 경로가 생겼습니다.