AI가 만든 보고서 '가짜 판결문' 인용 들통…딜로이트, 보고서 오류 인정

글로벌 회계·컨설팅 기업 딜로이트(Deloitte)가 인공지능(AI) 도구를 활용해 작성한 호주 정부 보고서에 존재하지 않는 학술자료와 허위 판결문을 인용한 사실이 드러나 파문이 일고 있다.

7일 파이낸셜타임스(FT), 가디언, IT 전문 매체 아르스테크니카 등에 따르면, 호주 고용노동부는 전날(6일) 딜로이트가 제출한 보고서에서 “AI 생성 오류가 포함됐다”는 사실을 인정하고 일부 용역비를 환불받기로 했다고 밝혔다.

해당 보고서는 지난해 12월 호주 정부가 43만9000호주달러(4억1000만원)를 들여 발주한 ‘구직자 복지 시스템 평가’ 프로젝트의 결과물이다. 하지만 지난 7월 보고서가 공개되자, 학계와 언론에서 “참고문헌 중 일부가 존재하지 않는다”는 지적이 잇따랐다.

실제로 보고서에는 시드니대와 스웨덴 룬드대 교수 명의의 허위 논문이 인용됐고, 존재하지 않는 호주 법원 판결문이 참고자료로 포함된 것으로 드러났다. 딜로이트는 이후 141개의 참고문헌 중 14개를 삭제하고, 조작된 인용문을 수정한 새 보고서를 정부에 재제출했다.

이 과정에서 딜로이트는 보고서 작성에 오픈AI의 GPT-4o 기반 대규모언어모델(LLM)을 사용했다고 공식적으로 인정했다. 그러나 딜로이트는 “오류 수정이 보고서의 결론과 권고안에는 영향을 주지 않는다”고 해명했다.

호주 정부는 “내용상의 주요 변경은 없지만, 보고서 신뢰성에 영향을 미친 사안으로 판단돼 용역비 일부를 환불받을 예정”이라고 밝혔다. 구체적인 환불 규모는 향후 공개된다.

시드니대 로스쿨의 크리스토퍼 러지 교수는 “보고서의 기반이 결함투성이였고, 비전문적인 방법으로 작성돼 권고안을 신뢰하기 어렵다”고 비판했다.

또 데버라 오닐 호주 상원의원은 “AI 검증 절차 없이 대형 컨설팅사에 의존하는 것은 위험하다”며 “이럴 바엔 차라리 챗GPT 구독이 더 나을지도 모른다”고 일침을 날렸다.

이번 사태는 AI의 '환각(hallucination, 존재하지 않는 정보를 사실처럼 생성하는 현상)'이 실제 공공 보고서 작성에 어떤 리스크를 초래할 수 있는지를 보여주는 대표적 사례로 평가된다.

 IT 전문 매체 테크크런치는 “딜로이트가 AI 확산을 자랑한 바로 그날, AI가 낳은 실수로 정부에 환불을 약속했다”며 “이 발표의 타이밍은 놀랍고, 동시에 우스꽝스럽다”고 꼬집었다.

한편, 딜로이트는 바로 전날 AI 기업 앤스로픽(Anthropic)과 협약을 맺고, 자사 직원 50만명에게 AI 챗봇 ‘클로드(Claude)’를 제공하겠다고 발표한 바 있다.