AI 인프라

컴퓨트와 칩, 서빙과 토큰 비용처럼 AI를 돌리는 밑단을 다룹니다.

AWS가 9월 29일 Amazon Bedrock 서울과 싱가포르 리전에 Claude 전용 추론을 열었습니다. 요청이 리전 밖으로 나가지 않는 대신 쓸 수 있는 모델은 Opus 5와 Sonnet 5까지이고, 최신 5.5 세대는 글로벌 라우팅으로만 호출됩니다.

9월 23일 공개된 Apache-2.0 런타임 Ollaya가 TypeSafe Jev의 API를 그대로 받습니다. 공식 SDK는 환경변수 한 줄로 로컬 서버에 연결되고, 오픈 결정 모델의 정확도는 laya:en 0.361에서 kev:9b 0.722까지 벌어집니다.

OpenRouter 자체 32일 벤치마크에서 DeepSeek V4 Flash 0731의 TAU-Bench 점수가 호스트별로 76.8%부터 46.4%까지 갈렸습니다. 운영자 실측 글이 HN 1위에 오르자 OpenRouter는 QoS 등급 도입을 예고했습니다.

Cerebras가 8월 18일 웨이퍼 3장을 한 랙에 넣은 CS-4를 공개했습니다. gpt-oss-120B에서 사용자당 초당 4400토큰, GPU보다 최대 30배를 내걸었지만 비교한 GPU 제품은 밝히지 않았습니다.

huggingface_hub가 4~6주 릴리스를 주간 주기로 바꿨습니다. 오픈 웨이트 모델, PR 검증, 사람 승인 구조를 짚습니다.

OpenAI와 Broadcom이 Jalapeño 추론 칩을 공개했습니다. Codex와 ChatGPT의 장시간 추론 비용, 전력, 공급망을 짚습니다.

Mistral OCR 4는 170개 언어, 경계 상자, 신뢰도 점수, 자체 호스팅으로 기업 문서 RAG 인입 비용과 검증 단계를 바꿉니다.

NVIDIA와 NAVER가 DSX 기반 AI factory를 55MW에서 기가와트로 키웁니다. HyperCLOVA X, NemoClaw, Seoul World Model의 실행 조건을 봅니다.

Microsoft가 Rayfin을 공개했습니다. AI 코딩 에이전트가 만든 앱을 Fabric의 DB·인증·GraphQL·거버넌스로 배포합니다.

Anthropic이 Claude Partner Hub와 Services Track을 공개했습니다. 인증, production 고객, 공개 사례가 AI 컨설팅 등급 기준이 됩니다.

Snowflake가 CoCo를 Cloud Agents, SDK, Slack, Datastream으로 확장했습니다. 데이터 권한 안에서 실행되는 코딩 에이전트 전략을 짚습니다.

AWS Nova Act Service Card가 브라우저 에이전트의 100단계, 30분 세션, prompt injection 책임 경계를 문서화했습니다.