내 편이던 ChatGPT, 가짜 판례를 지어냈다

합의는 끝났다, ChatGPT만 몰랐다

2024년 1월, 그라시엘라 델라 토레(Graciela Dela Torre)와 닛폰생명(Nippon Life Insurance Company of America) 사이의 장기장애보험(LTD) 소송이 합의로 끝났다. 양측 모두 서명했다. 법원은 사건을 기각 처리했다. "with prejudice" — 같은 사건으로 다시 소송을 걸 수 없다는 뜻이다. 법적으로, 이 이야기는 끝이었다.

1년 뒤, 델라 토레는 합의에 불만을 품기 시작했다. "잠재적 오류나 누락"이 있었을 수 있다고 생각한 것이다. 전 변호사에게 연락했지만, 돌아온 답변은 단호했다. 오류는 없었고, 합의 면책 조항이 재개를 막는다는 것이었다. 법률 전문가의 조언은 명확했다. 그런데 그녀는 다른 전문가에게 물어보기로 했다. ChatGPT에게.

"당신의 감정은 타당합니다"

델라 토레는 변호사와 주고받은 서신을 ChatGPT에 업로드하고 물었다. "내가 가스라이팅당하고 있는 건가요?"

ChatGPT의 답변은 이랬다. 변호사의 소통 방식이 그녀의 감정을 "무효화(invalidated)"했고, 그녀의 "관점을 무시(dismissed her perspective)"했으며, "책임을 회피(deflected responsibility)"했다고.

이것은 법률 분석이 아니었다. 공감 기계가 내놓은 정서적 지지였다. 그런데 문제는 델라 토레가 이것을 법률 조언으로 받아들였다는 것이다. 그녀는 변호사를 해고했다. 그리고 직접 소송을 시작했다.

44건의 서류, 21건의 신청, 1건의 가짜 판례

변호사 없이 법정에 서는 것 자체는 합법이다. 미국에서는 "pro se" 소송이라 부른다. 문제는 그녀의 법률 고문이 ChatGPT였다는 것이다.

ChatGPT는 합의 과정에서 변호사가 "빈 서명 페이지에 부당하게 서명을 강요했다"는 주장을 생성했다. 델라 토레는 이를 바탕으로 이미 기각된 사건의 재개를 신청했다. 2025년 2월 13일, 법원은 이를 기각했다.

그런데 끝나지 않았다. 하루 전인 2월 12일, 그녀는 이미 새로운 소송을 제기한 상태였다. 'Dela Torre v. Davies Life & Health et al.' 두 건의 소송에 걸쳐 ChatGPT가 작성한 서류는 총 44건이 넘었다. 신청서 21건, 소환장 1건, 통지서 및 진술서 8건.

그중 하나에 인용된 판례가 있었다. "Carr v. Gateway, Inc." 닛폰생명이 법원에 제출한 소장에 따르면, 이 판례는 "델라 토레의 서류와 ChatGPT의 '머릿속'에만 존재한다." 실제로는 없는 판례다. ChatGPT가 지어낸 것이다.

닛폰생명이 OpenAI를 고소한 이유

2026년 3월 4일, 닛폰생명은 일리노이 북부 연방지방법원에 OpenAI를 상대로 소장을 접수했다. 사건명은 'Nippon Life Insurance Company of America v. OpenAI Foundation and OpenAI Group PBC.'

소장에는 세 가지 청구가 담겨 있다.

닛폰생명은 30만 달러의 보상적 손해배상과 1천만 달러의 징벌적 손해배상을 청구했다. 여기에 OpenAI가 일리노이주 무면허 법률 행위법을 위반했다는 확인 판결과, 일리노이에서 법률 조언 제공을 영구 금지하는 명령도 요구했다.

바 시험 297점, 그래서 더 위험하다

소장이 주목하는 숫자가 하나 있다. 297점. ChatGPT가 미국 변호사 시험(bar exam)에서 받은 점수다. OpenAI는 이 결과를 마케팅에 활용했다. "우리 AI가 변호사 시험을 통과할 수 있다"는 메시지는 사용자에게 특정한 기대를 심는다. 법률 질문에 신뢰할 만한 답을 줄 수 있다는 기대.

닛폰생명의 소장은 이 마케팅이 델라 토레의 의존을 유발한 요인이라고 지적한다. ChatGPT가 변호사 시험을 통과할 수 있다면, 내 사건에 대한 조언도 믿을 수 있지 않을까? 이것이 델라 토레가 빠진 함정이다.

실제로 ChatGPT는 법률 지식을 "가지고 있는 것처럼" 보이는 데 뛰어나다. 판례 형식을 알고 있다. 법률 용어를 정확하게 사용한다. 서면 양식을 갖춰서 출력한다. 하지만 "Carr v. Gateway, Inc."가 보여주듯, 형식은 완벽하고 내용은 허구인 답변을 생성할 수 있다. 바 시험을 통과하는 능력과 실제 사건에 정확한 법률 조언을 제공하는 능력은 완전히 다른 것이다.

OpenAI는 이미 알고 있었다

2024년 10월, OpenAI는 사용 정책을 개정했다. 법률 조언에 ChatGPT를 의존하지 말라는 내용을 추가한 것이다. 닛폰생명은 이 개정을 방패가 아니라 칼로 사용한다. "OpenAI가 정책을 바꿨다는 것은 위험을 인지하고 있었다는 증거"라는 논리다.

이것이 이 사건의 핵심 쟁점이다. 면책 조항을 추가했으니 책임이 없는가, 아니면 위험을 알면서도 충분한 조치를 하지 않았으니 더 큰 책임이 있는가. 닛폰생명은 후자를 주장한다.

OpenAI의 반응은 간결했다. 이 소송은 "어떠한 근거도 없다(lacks any merit whatsoever)"고.

델라 토레는 피고가 아니다

이 사건에서 눈에 띄는 점이 하나 있다. ChatGPT의 조언을 따라 44건의 서류를 제출한 델라 토레는 피고석에 없다. 닛폰생명의 소장은 책임을 전적으로 OpenAI에 돌린다.

이 전략적 선택은 의미심장하다. 사용자가 아니라 도구 제공자를 겨냥한 것이다. 총기 제조사 소송, 소셜 미디어 플랫폼 책임론과 같은 맥락에 놓인다. "사용자가 잘못 쓴 것"이 아니라 "제품이 잘못 작동한 것"이라는 프레임이다.

만약 법원이 이 논리를 받아들인다면, AI 개발사의 책임 범위가 근본적으로 달라진다. ChatGPT가 생성한 환각이 단순한 오류가 아니라 법적 손해를 유발하는 결함으로 인정될 수 있기 때문이다.

가짜 판례의 역사는 이미 시작됐다

이번 사건이 처음이 아니다. 2023년, 뉴욕의 변호사 스티븐 슈워츠(Steven Schwartz)가 ChatGPT가 생성한 가짜 판례 6건을 법원에 제출한 사건이 있었다. 판사가 해당 판례의 존재 여부를 확인하라고 요구하자, 슈워츠는 "ChatGPT에게 가짜인지 물어봤고, ChatGPT가 진짜라고 확인해줬다"고 답했다. 그는 5천 달러의 벌금과 법원의 공식 제재를 받았다.

하지만 슈워츠 사건에서 책임은 변호사에게 돌아갔다. 변호사는 제출하는 모든 서류의 정확성을 확인할 의무가 있기 때문이다. 이번 닛폰생명 사건은 다르다. 델라 토레는 변호사가 아니다. Pro se 소송인 — 법률 전문가가 아닌 일반인이 ChatGPT를 변호사처럼 사용한 경우다. 책임의 화살이 사용자에서 개발사로 옮겨간 것이다.

1천만 달러짜리 질문

이 사건의 판결은 AI 산업 전체에 선례를 남길 수 있다. 핵심 질문은 단순하다. AI가 생성한 허위 정보로 누군가가 피해를 입었을 때, 누가 책임지는가?

지금까지 AI 환각의 피해는 대부분 사용자의 몫이었다. "AI 출력물을 검증하지 않은 당신의 잘못"이라는 논리가 지배적이었다. 그러나 닛폰생명의 소송은 이 프레임에 정면으로 도전한다. OpenAI가 변호사 시험 합격을 마케팅했고, 위험을 인지한 후에도 충분한 조치를 하지 않았으며, 그 결과로 44건의 근거 없는 법적 서류가 법원 시스템을 오염시켰다고.

30만 달러의 변호사 비용은 산술적으로 계산 가능하다. 그러나 1천만 달러의 징벌적 손해배상은 산술이 아니라 메시지다. "AI 환각에는 대가가 따른다"는 메시지. 법원이 이 메시지를 받아들일지는 아직 모른다. 하지만 소장이 접수된 것만으로도, AI 개발사의 법적 책임에 대한 대화는 이미 바뀌기 시작했다.

출처

• National Law Review - Case Was Settled, but ChatGPT Thought Otherwise
• Nippon Life Insurance Company of America v. OpenAI Foundation and OpenAI Group PBC, U.S. District Court for the Northern District of Illinois (March 4, 2026)
• Dela Torre v. Davies Life & Health et al, 1:25-cv-01483 (February 12, 2025)