완벽해 보이는 AI의 이상한 실수
인공지능은 논문을 요약하고, 프로그램 코드를 작성하며, 사람과 자연스럽게 대화할 정도로 발전했다. 이제 AI는 단순한 계산 도구가 아니라 지식을 정리하고 새로운 문장을 만들어내는 도구가 되었다.
하지만 이렇게 발전한 AI도 때때로 매우 이상한 실수를 한다. 존재하지 않는 책을 추천하거나, 실제로 발표된 적 없는 논문을 인용하고, 일어난 적 없는 사건을 사실처럼 설명하기도 한다.
2023년 미국에서는 한 변호사가 법원 제출 자료를 준비하는 과정에서 AI가 찾아준 판례를 사용했다가 문제가 된 사건이 있었다. 문서 형식과 법률 표현은 자연스러웠지만, 확인 결과 일부 판례는 실제 존재하지 않는 것이었다.
더 흥미로운 점은 이런 오류가 단순한 오타처럼 보이지 않는다는 것이다. 잘못된 정보임에도 문장은 자연스럽고 논리적으로 보이는 경우가 많다. 이처럼 인공지능이 실제와 다른 정보를 사실처럼 생성하는 현상을 AI 할루시네이션(AI hallucination)이라고 한다.
정답을 저장하지 않는 인공지능
많은 사람들은 AI가 거대한 백과사전처럼 모든 정보를 저장해 두었다가 질문을 받으면 답을 찾아 꺼낸다고 생각한다. 하지만 현재의 대형 언어 모델(LLM, Large Language Model)은 그런 방식으로 작동하지 않는다.
AI는 학습 과정에서 수많은 문장을 분석하며 단어와 개념 사이의 관계, 문장의 구조, 정보의 패턴을 모델 내부에 반영한다. 그리고 질문을 받으면 저장된 문장을 그대로 복사하는 것이 아니라, 학습한 패턴을 바탕으로 가장 적절한 답변을 생성한다.
예를 들어 “파리는 프랑스의…”라는 문장이 있으면 뒤에 “수도”라는 단어가 이어질 가능성이 높다는 관계를 학습하는 방식이다.
문제는 AI가 만들어낸 문장이 실제 세계의 사실과 일치하는지 항상 완벽하게 확인하는 구조는 아니라는 점이다.
모르는 것을 모른다고 말하기 어려운 이유
사람은 모르는 질문을 받으면 “잘 모르겠다”고 말할 수 있다. 최근 AI 역시 불확실한 정보에 대해 인정하도록 훈련되고 있지만, 여전히 자신이 만든 답변이 실제 사실과 일치하는지 완벽하게 판단하지 못하는 경우가 있다.
정보가 부족하거나 질문이 모호할 때 AI는 학습한 패턴을 이용해 가장 그럴듯한 답변을 만들어낸다. 그 과정에서 실제로 존재할 것 같은 논문 제목, 있을 법한 연구자의 이름, 역사적 사건이나 출처가 만들어질 수 있다.
하지만 이것을 인간의 거짓말과 같은 의미로 볼 수는 없다. 거짓말은 사실을 알고도 의도적으로 다르게 말하는 행위지만, AI에는 그런 의도나 믿음이 존재하지 않는다. AI는 속이려 하는 것이 아니라, 생성 과정에서 실제와 맞지 않는 결과를 만들어내는 것이다.
인간의 기억 오류와 닮은 점
흥미로운 점은 인간의 기억 역시 완벽한 기록 장치가 아니라는 것이다. 우리는 흔히 기억을 머릿속에 저장된 영상을 다시 재생하는 것처럼 생각한다. 하지만 실제 기억은 과거의 장면을 그대로 꺼내 보는 과정이 아니다.
인간의 뇌는 남아 있는 기억 조각과 현재 가지고 있는 정보를 이용해 과거를 다시 구성한다. 그래서 실제로 경험하지 않은 일을 기억하거나, 시간이 지나면서 기억의 일부가 바뀌는 현상이 나타날 수 있다. 이를 거짓 기억(false memory)이라고 부른다.
실제로 범죄 사건에서 목격자가 확신을 가지고 증언했지만, 이후 DNA 검사 등을 통해 기억이 잘못되었다는 사실이 밝혀진 사례들도 있다.
물론 인간의 뇌와 AI는 전혀 다른 방식으로 작동한다. 하지만 부족한 정보를 바탕으로 빈 부분을 채워 넣는 과정에서 오류가 발생할 수 있다는 점은 흥미롭게 닮아 있다.
할루시네이션은 완전히 사라질 수 있을까?
오늘날 AI 연구에서 가장 중요한 과제 중 하나가 할루시네이션을 줄이는 것이다. 이를 위해 AI가 답변을 만들기 전에 외부 자료를 검색하거나, 생성된 내용의 출처를 확인하는 여러 기술이 개발되고 있다. 하지만 할루시네이션을 완전히 제거하는 것은 쉽지 않다.
AI가 새로운 문장을 만들고 창의적인 답변을 생성하는 능력과 존재하지 않는 내용을 만들어낼 가능성은 같은 생성 능력에서 나오기 때문이다. 더 자유롭게 조합하고 추론할 수 있을수록 새로운 가능성을 만들지만, 동시에 잘못된 연결을 만들 위험도 생긴다.
AI 시대에 필요한 새로운 능력
과거에는 많은 정보를 기억하고 빠르게 찾는 능력이 중요했다. 하지만 AI가 순식간에 답을 만들어내는 시대에는 다른 능력이 필요하다.
중요한 것은 “답변이 얼마나 자연스럽게 보이는가”가 아니라 “그 답변이 실제 세계와 연결되어 있는가”를 판단하는 능력이다.
AI 할루시네이션은 단순한 오류가 아니다. 그것은 인공지능이 인간과 다른 방식으로 정보를 다루고 있다는 사실을 보여주는 현상이며, 동시에 인간의 기억과 지능에 대해서도 다시 생각하게 만드는 흥미로운 주제이다.