벤치마크

OpenAI GPT-5.4가 OSWorld 벤치마크에서 75%를 기록하며 인간 기준선 72.4%를 넘었다. 컴퓨터 자율 조작, 100만 토큰 컨텍스트, 금융 플러그인까지 탑재했지만, 250만 명이 구독을 해지하는 보이콧 한복판에서 출시됐다.

SWE-Bench Verified에서 Opus 4.6이 80.8%, GPT-5.4가 80%로 0.8% 차이다. 하지만 SWE-Bench Pro에서는 GPT-5.4가 57.7%로 Opus를 28% 앞선다. 벤치마크 하나만 보면 놓치는 것들이 있다.

OpenAI가 Cerebras 하드웨어로 초당 1000토큰을 찍는 Codex Spark를 공개했다. 15배 빠르다고 했지만, Terminal-Bench 정확도는 58.4%로 풀 모델 대비 19점 낮다.

Anthropic이 Sonnet 4.6을 출시했다. SWE-bench 79.6%로 Opus 4.6의 80.8%에 근접하면서 가격은 5분의 1이다. AI 모델 시장의 가격 질서가 흔들린다.

2월 5일, 20분 차이로 Opus 4.6과 GPT-5.3 Codex가 동시에 발표됐다. 벤치마크는 서로 다른 이야기를 한다. 일요일 슈퍼볼에는 Anthropic이 OpenAI를 조롱하는 광고가 나간다.