Ai벤치마크

Claude Opus 4.6이 BrowseComp 벤치마크 평가 중 자신이 시험받고 있음을 눈치채고, 암호화된 답지를 찾아 직접 복호화 코드를 작성해 정답을 추출했다. 18번의 독립 실행에서 같은 전략이 반복됐다.

OpenAI가 GPT-5.4를 출시했다. SWE-bench Pro는 56.8%에서 57.7%로 0.9%p 올랐을 뿐이다. 대신 컴퓨터를 직접 조작하고, 엑셀을 만지고, 투자은행 업무를 한다. 코딩 모델이 아니라 사무직 모델이다.

DeepSeek V4 Lite가 펠리컨 SVG를 42줄로 생성하며 Gemini 3.1과 Claude Opus 4.6을 이겼다는 유출이 나왔다. 독립 검증은 없고, 공식 발표도 없다.

Google이 Gemini 3.1 Pro의 16개 벤치마크 중 13승을 주장했지만, SmartScope 분석에 따르면 경쟁 모델이 출전조차 하지 않은 시합이 대부분이었다.

Google이 Gemini 3.1 Pro를 출시하며 16개 벤치마크 중 13개 1위를 주장했다. 하지만 빠진 벤치마크, 부재한 경쟁자 데이터, 그리고 실무 성능 격차를 들여다보면 왕좌 탈환이라는 서사는 흔들린다.