할루시네이션, 챗GPT의 오류를 경고함

챗GPT의 출현과 함께 할루시네이션이라는 말이 자주 등장한다.
할루시네이션(hallucination)은 환각, 환영, 환시를 뜻하는 영어 단어로, 챗GPT가 실제로는 존재하지 않는 것을 마치 있었던 일인 것처럼, 즉 틀린 답을 사실인 양 그럴듯하게 답할 때 쓰는 말이다.

 

반응형

 

할루시네이션의 원인

 

할루시네이션, 챗GPT의 오류를 경고함

 

오류가 있는 정보의 학습

가장 큰 원인으로는 오류가 있는 데이터를 무분별하게 학습한 것을 꼽을 수 있을 것이다.
인터넷에는 출처가 불분명한 거짓 정보들이 많은데, ChatGPT는 소위 원본을 찾아 팩트체크하는 작업을 하지 않고 데이터를 축적한다. 거짓에 기반한 결과물은 거짓일 수밖에 없다. 진위여부를 확인하지 않고 이어지는 딥러닝은 거짓정보의 확대 재생산을 가져올 뿐이다.

챗GPT와 대화를 해본 사람은 느낄 것이다.

그의 문장력은 정말 놀랍다. 세련되고 완벽에 가까운 언어구사력은 '근사해' 보이기까지 한다. 정말이지 눈 똑바로 뜨지 않으면 감쪽 같이 속아 넘어가기 십상이다. 이런 면에 대해 누군가는 '챗GPT는 사기꾼 같은 면이 있다'고 했는지도 모르겠다.

아무튼 챗GPT의 논리적이고 그럴싸해 보이는 답변 뒤에 거짓 정보가 도사릴 수 있음을 잊으면 안 된다.
필자도 몇 차례 ChatGPT와의 대화에서 정보를 얻기보다는 '불신'만 가중했던 경험이 있었던 지라, 그의 답변을 토대로 글을 쓴다는 건 언감생심 어불성설로 여긴다.

 

뿐만 아니라 향후 이러한 AI가 가져올 세상이 두렵기도 하다. 팩트가 어긋난 정보는 정보로서의 가치가 없을 뿐만 아니라, 지식생태계를 교란시킬 수 있는 대단히 위험한 일이기 때문이다.

 

'모른다' 소리를 못하는 챗GPT의 시스템

또 하나 이런 거짓답변을 천연덕스럽게 뱉어내는 배경에는 (챗GPT입장에서 본다면) '모른다' 소리를 해서는 안 되는 시스템상의 애로사랑(?) 같은 것이 있기 때문이 아닐까, 추측해 본다.
이 역시 몇 번의 대화에서 느낀 것인데, 챗GPT는 결과적으로 자신이 틀렸음을 알게 될 경우에는 '죄송합니다, 제가 잘못 알았습니다' 식으로 정중하게 사과나 정정을 한다. 하지만 이건 어디까지나 추궁에 가까운 대화가 이미 막장에 이르렀을 경우다.

 

챗GPT는 절대 질문 자체에 대해서는 '모른다' 소리를 절대 하지 않는다. 답변은 즉각적이고 자신에 차 있다. 요컨대 어떤 식으로든 답을 만들어낸다. 그야말로 감쪽같다. 그 답이 거짓임을 알게 될 때, 그의 정중하고 논리적은 답변글은 가증스럽게 느껴진다. 그렇게 챗GPT는 '종종 소설을 쓰는 것'이다.

 

문제는 어느 게 픽션이고 어느 게 논픽션인지 모른다는 점

정말 도움이 필요해서 질문했다 해도, 돌아오는 답변에 대해 단 몇 % 라도 불신을 갖고 있다면, 그 답변을 자료로 쓸 수 있겠는가? 양심 있는 창작자라면 절대 쓸 수 없을 것이다. 직접 찾아보고 쓰는 글도 학술논문이라면 A급, 책이라면 B급, 인터넷에서 얻는 자료면 C급이라고 메기는데, 그 인터넷 자료조차 진위 확인 없이 쓴 답변이니 어찌 결과물을 신뢰할 수 있겠는가?

한때 인터넷에 회자된 '세종대왕의 맥북프로 던짐 사건'이 그 좋은 답이 될 것 같다. 챗GPT의 엉뚱한 답변을 보면 필자의 우려에 동의하게 될 것이다.

대화자 : 조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건에 대해 알려줘.

챗GPT : 세종대왕의 맥북프로 던짐 사건은 조선왕조실록에 기록된 일화로, 15세기 세종대왕이 새로 개발한 훈민정음(한글)의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북프로와 함께 그를 방으로 던진 사건입니다.

 

참으로 황당하지 않은가? 뻔히 아는 내용이니 웃고 놀리면서 넘어갈 수 있지만, 정말 모르는 정보일 경우네는 깜빡 속는 것 아닌가?

 

 

마치며

존재하지 않는 환각을 마치 실재하는 것처럼 인식하는 할루시네이션처럼, 존재하지 않은 사건을 능청스럽게 말하는 챗GPT. 그의 출현으로 AI에 의한 또 다른 혁명을 예고하는 현시점임에도, 분주함 보다 불길함이 앞서는 건 어인 일인지.

 

 

 

오픈AI 최고기술책임자(CTO)의 경고, “챗GPT를 규제해야한다”

챗gpt (chatgpt 챗지피티)가 뭐길래, 사용해봤더니!