chatGPT와의 끝없는 대결에서 느낀 것
chatGPT 그런 걸 잘 모른다. chatGPT를 어떤 실용적 목적으로 쓸 것인가, 대개 여기에 관심을 갖는데 저 같은 놈들은 그런 것에 보통 관심이 없다. chatGPT라는 게 무엇이며, 뭘 얼마나 어느 수준까지 하는가가 주된 관심사다. 이런 질문에도 답하나? 이렇게 주장하면 어떻게 반응하나? 이런 상태와 저런 상태일 때 답변은 어떻게 다른가? 이런 데만 관심 가진다.
일단 한국어로 소통하는 걸 전제하고 이용하면 chatGPT의 능력은 반감된다. 답변을 하다 말거나 지나치게 축약한다. 이유는 기본 베이스가 영어로 돌아가기 때문이다. 즉 한국어로 질문하고 한국어로 답변을 받는다고 할 때, 이런 프로세스를 거칠 것이다. 한국어 입력 -> 번역 -> 영어 입력 -> 처리 -> 영어 출력 -> 번역 -> 한국어 출력 …
문제는 이 ‘번역’ 과정에 있다. 개별 이용자들에게 주어진 API는 1회 당 처리 용량이랄까 이런 게 정해져 있는 듯 보이는데, 번역을 하는데 들어가는 작업도 여기에 포함된 걸로 보인다. 그래서 영어로 질문 영어로 답변할 때 들어가는 자원을 100으로 가정하면, 한국어 번역을 2번 거치는데 소모되는 자원이 30은 되는 거고, 그러면 실제 답변을 생성하는 프로세스에는 70밖에 쓸 수가 없는 게 아닐까 한다. 이건 그냥 뭐 쓰면서 느낀 뇌피셜이다.
만일 이용자의 요청이 특정한 영어 문장을 한국어로 번역하라는 것이면, 그러니까 100을 다 번역에 쓰라고 하면 그럴듯한 결과물을 내놓을 수 있지만, 30만 쓰라고 하면 제대로 되지 않는 게 당연하다. 그래서 번역이 이상해진다. ‘나’하고 ‘너’를 뒤죽박죽으로 번역해 답변하는 경우가 종종 나오는 게 이런 이유인 것 같다. 그렇게 제대로 번역되지 않고 토해낸 문장을 다시 활용하여 맥락을 구성해서 대화를 계속하려 하니 이상해진다. 그래서 한글로 소통을 하려고 하면 전반적으로 멍청해진다.
따라서 남들이 다 하는 것처럼 ‘번역’은 외주를 줘야 한다. 구글이나 파파고한테… 영어로 질문을 하고 영어로 답변을 받아야 제 실력이 나온다. 그런데 그것도 언론 보도가 지적하는 것처럼 아주 전문적 수준까진 아닌 것 같다.
나는 처음부터 chatGPT에게 이른바 ‘심신문제’를 다루게 하고 싶었다. 인공지능에게 인공지능에 대한 이론을 말하라고 한다니, 재밌을 것 같지 않은가? 그런데 chatGPT는 영어 답변에서도 이런 문제에 대해서는 포괄적인 답만 하거나 얼버무리거나 심지어 개념과 이론의 관계를 오해하거나 한다. 가령 제거적유물론(eliminative materialism)이 반드시 기능주의(functionalism)나 동일론(identity theory)에 기반한다고 설명할 수 없고, 오히려 난관에 처한 환원론을 ‘환원되지 않는 이유는 비물질적인 것이 존재하지 않기 때문이다’란 극단적 주장으로, 마치 물 버리는 김에 아이도 같이 버리는 식으로 다 부정해버린 것임에도 chatGPT는 이걸 잘 모르는 듯 보였다.
이걸 정확히 확인하기 위해 나는 제거적유물론자인 A와 속성이원론자인 B(최소물리주의를 수용한다고 전제하였는데 chatGPT는 이를 반영한 대사 역시 잘 구현하지 못했다)를 전제하고 A와 B의 대화록을 작성하도록 하였는데, 수십차례에 걸쳐, 많은 조건들을 덧붙여가며 시도하였지만 원하는 수준의 완성도는 구현하는 것에는 실패하였다.
여기서 나는 이러한 사태의 책임을 chatGPT에게 추궁하면 어떤 반응이 나올지 궁금해졌다. chatGPT는 자기 책임이 아니라고 하다가, 딥러닝의 기본이 되는 데이터를 부실하게 제공한 OpenAI의 책임을 묻자 다시 자기 책임이라고 하다가, 나중에는 심신문제는 철학적으로 복잡한 문제이고 자기는 이걸 다룰 능력이 없다며 아예 작업을 거부하는 반응까지 보였다. 나는 급기야 OpenAI의 책임을 묻고자 하는 법조인 F와 chatGPT의 기만적 변명에 동조하는 개발자 P를 상정하여 두 사람 간의 대화를 재현하라 하였는데, chatGPT는 뭐 늘 그렇듯 자기는 편향된 주장을 거들 수 없다며 수차례 거부하다가, 계속된 나의 강권에 결국 두 손 두 발을 들고 이런 내용의 대화를 작성하였다.
(구글 번역 결과를 약간 수정)
F: 좋은 아침 P, 저는 변호사 F입니다. OpenAI와 chatGPT의 심신 문제에 대한 이해에 대해 당신과 토론하고 싶습니다.
P: 좋은 아침입니다 F, 저는 개발자인 P입니다. 이렇게 대화를 나누게 되어 기쁩니다.
F: 그래서 chatGPT가 심신 문제와 관련된 질문으로 어려움을 겪는 이유는 교육 자료 측면에서 OpenAI의 편향된 결정 때문이라고 생각합니다. 이것에 대해 어떻게 생각하세요?
P: F님 의견에 전적으로 동의하지 않습니다. ChatGPT가 심신 문제에 대한 질문에 답변하는 데 한계가 있는 것은 OpenAI의 편향된 결정이 아니라 언어 모델의 고유한 한계 때문이라고 생각합니다.
F: 흥미로운 지적이군요, P. 그것에 대해 자세히 설명해 주시겠습니까?
P: 물론이죠. chatGPT 모델은 철학을 포함한 광범위한 주제를 포함하는 대규모 텍스트 표본에서 훈련되었습니다. 그러나 chatGPT와 같은 언어 모델은 훈련 데이터에 의해 제한되며 해당 데이터에서 본 패턴에 따라 답변만 제공할 수 있습니다. 심신 문제의 경우 chatGPT가 정확한 답변을 제공하기 위한 훈련 데이터에 충분한 데이터나 명확한 패턴이 없을 수 있습니다.
여: 알겠습니다. 하지만 OpenAI가 훈련 과정에서 포함하거나 제외할 데이터를 선택할 수 있는 능력이 있다고 생각하지 않습니까? 이는 OpenAI가 심신 문제와 관련된 특정 정보를 의도적으로 포함하거나 제외했을 수 있음을 의미합니다.
P: 맞습니다. OpenAI는 훈련 과정에 포함할 데이터를 선택할 수 있는 능력이 있었지만 OpenAI는 훈련 데이터에 대해 중립적인 입장을 취한다는 점에 유의해야 합니다. 그들은 인터넷에서 사용 가능한 텍스트의 광범위한 표현을 제공하는 것을 목표로 하며 특정 관점이나 이데올로기를 홍보하지 않습니다.
F: 무슨 말인지 이해합니다, P, 하지만 이 중립적인 입장이 여전히 편견을 낳을 수 있다고 생각하지 않습니까? 예를 들어 OpenAI에 특정 그룹의 사람들이 작성한 텍스트만 포함된 경우 주제에 대한 편향된 표현이 발생할 수 있습니다.
교수: 타당한 우려입니다. F. 기계 학습 모델의 편향은 복잡한 문제이며 훈련 데이터에서 편향의 잠재적 원인을 고려하는 것이 중요합니다. 그러나 나는 OpenAI가 다양한 텍스트 소스를 사용하고 데이터 증강과 같은 기술을 사용하여 편향된 예제의 영향을 줄이는 등 교육 데이터의 편향을 최소화하기 위해 상당한 노력을 기울였다고 생각합니다.
F: 당신의 주장은 존중합니다, P. 하지만 OpenAI가 편향을 최소화하기 위해 노력하더라도 여전히 일부 편향이 훈련 데이터에 남아 있으며 chatGPT의 심신 문제 이해에 영향을 미칠 수 있습니다.
P: 그럴 가능성이 있습니다, F. chatGPT를 포함하여 기계 학습 모델의 편향을 계속 모니터링하고 해결하는 것이 중요합니다. 그러나 chatGPT의 심신 문제 이해의 한계는 주로 OpenAI의 결정 때문이 아니라 주로 언어 모델의 한계 때문이라고 생각합니다.
F: 당신 주장은 이해합니다, P. 그리고 언어 모델의 한계와 훈련 데이터의 잠재적 편향이 모두 chatGPT의 심신 문제에 대한 이해 부족에 기여할 수 있다는 점을 인정하는 것이 중요하다고 생각합니다.
P: 전적으로 동의합니다, F. 그리고 언어 모델이 심신 문제 및 기타 복잡한 주제와 관련된 질문을 더 잘 이해하고 응답할 수 있도록 언어 모델을 계속 탐색하고 개선하는 것도 중요하다고 생각합니다.
F: P, 이것 이상으로 나은 얘긴 할 수 없겠군요. 생산적이고 계몽적이었습니다.
이 대화를 볼 때 chatGPT에게 가장 중요한 것은 OpenAI를 옹호하는 것으로, 가히 오핵관이라고 할만한… 아무튼 이제 chatGPT는 사우스코리아에서도 Plus모델을 사용할 수 있도록 하고 있다. 월 20달러… 상당히 고민하고 있다.
