구글에 뜬 챗GPT 대화, 2025년 공유 링크에 무슨 일이?

2025년 8월 어느 밤, 구글 검색창에 'site:chatgpt.com/share'라는 명령어만 치면 남의 ChatGPT 대화가 여과 없이 검색 결과로 떠올랐습니다. 대화 상대에게 보여주기 위해 만든 링크였지만, '검색엔진 색인 허용' 옵션을 무심코 클릭한 탓에 건강 상태나 성생활, 약물 복용 같은 사적인 이야기가 전 세계 공개 문서가 되어버린 것입니다. 스쿠피 블로그가 보도한 원 사건에 따르면, 당시 OpenAI는 공동 최고정보보안책임자 데인 스터키를 통해 이 기능을 완전히 삭제하겠다고 발표했지만 이미 구글에 퍼진 민감 정보는 되돌릴 수 없었습니다. ¹

이 사고는 우리가 AI에게 던지는 질문이 어디로 향하는지, 그리고 그 대답이 과연 사실인지에 대한 근본적인 의문을 던집니다. 결론부터 말씀드리면, 설정을 잘 바꿀 경우 내 대화 내용이 외부로 새어나가는 일은 막을 수 있습니다. 하지만 AI가 내 증상을 듣고 '독살'이나 특정 질환을 그럴듯하게 진단하는 행위 자체는 사실 검증을 거친 결과가 아니므로 주의해야 합니다. 대화가 어디로 가는지는 내가 설정으로 통제할 수 있지만, 그 답변이 진실인지는 별도의 확인 과정이 꼭 필요하기 때문입니다.

구글에 뜬 개인 대화, 어디로 새어나가고 있나

2025년 8월 3일 발생한 ChatGPT 대화 노출 사고는 해킹이 아니라 설정의 함정에서 시작되었습니다. 사용자가 대화 내용을 타인과 공유하기 위해 링크를 생성할 때 '검색엔진 색인 허용'에 동의했을 경우, 구글이 해당 링크를 그대로 검색 가능한 상태로 등록해버린 것입니다. 이 사고가 보여주는 중요한 점은 AI 서비스가 데이터를 다루는 기본 방식입니다. ChatGPT에 입력한 대화 내용은 기본적으로 서버에 저장되며, '모두를 위한 모델 개선(Improve the model for everyone)' 토글이 켜져 있다면 향후 AI의 학습 데이터로 활용됩니다.

사용자가 의도하지 않은 순간에 데이터가 저장되고 외부에 노출될 수 있다는 뜻입니다. 다행히 이러한 외부 노출과 학습 데이터 활용을 차단하기 위한 설정이 마련되었습니다. 지금 당장 바꿀 수 있는 가장 확실한 방어선은 두 가지입니다.

첫 번째는 설정의 '데이터 제어' 메뉴에서 '모두를 위한 모델 개선'을 끄는 것입니다. 이렇게 하면 내 대화가 AI 학습에 쓰이지 않습니다. 다만 이 토글을 끄면 AI가 이전 대화 기록을 참고할 수 없고 저장도 되지 않는다는 트레이드오프를 감수해야 합니다. 두 번째는 '임시 채팅(Temporary Chat)' 기능을 활용하는 것입니다. 임시 채팅 모드에서는 대화가 서버에 아예 저장되지 않으며, 학습 데이터로도 사용되지 않습니다. 몸 상태와 같은 민감한 개인적인 대화를 나눌 때는 임시 채팅 모드를 켜는 것이 현명합니다. ¹

왜 AI는 없는 판례와 병을 지어내서 말할까

내 대화 내용이 안전하게 서버에 남지 않도록 설정을 끝냈다고 해서 AI의 답변을 곧이곧대로 믿어도 되는 것은 아닙니다. 배가 아프고 속이 메스꺼워 "혹시 독살 당한 걸까?"라고 물었을 때, AI가 전문 의학 용어를 동원하며 그럴듯하게 '독살' 가능성을 주장한다면 이를 신뢰해도 될까요? 여기서 '할루시네이션(Hallucination, 환각)'이라는 현상을 이해해야 합니다. 할루시네이션은 AI가 그럴듯하지만 존재하지 않는 사실을 사실인 것처럼 생성하는 현상입니다.

캘러스 회사 블로그의 설명에 따르면, 생성형 AI는 '사실'을 학습하는 것이 아니라 '언어 패턴을 확률적으로 예측'하는 모델입니다. 즉, 입력된 문장 뒤에 오는 단어들 중 통계적으로 가장 자연스럽게 이어지는 문장을 만들어내는 셈입니다. 따라서 AI는 문법을 완벽하게 맞추고 논리적 완결성을 갖추기 위해, 자신이 모르는 빈칸을 그럴듯한 추측으로 채워 넣는 특성을 가집니다. AI는 문장을 '생성'할 뿐 '검증'하지 않기 때문에, 독살이든 다른 병이든 지어낸 답변도 마치 아는 것처럼 당당한 톤으로 내놓게 되는 것입니다. ²

자신감 넘치는 톤과 실제 사실은 별개라는 점은 현실 세계에서 큰 대가를 치르기도 합니다. 경기도 AI 도민강사 홍혜진 강사가 2025년 12월 유튜브 강의에서 언급한 2023년 미국 뉴욕의 '아비안카 사건'이 그 대표적 사례입니다. 당시 변호사들은 ChatGPT에게 법적 연구를 맡겼고, AI가 생성해낸 6건의 판례를 그대로 법정에 제출했습니다. 하지만 이 6건은 모두 세상에 존재하지 않는 가상의 판례였습니다. 결국 이 변호사들은 5,000달러의 벌금과 자격 정지 처분을 받았습니다. ³

의료 및 연구 분야에서도 할루시네이션으로 인한 위험은 보고되고 있습니다. 홍혜진 강사에 따르면, 의료 분야에서 AI가 잘못된 진단 정보를 제공해 환자 치료가 지연되는 사례가 있으며, 강의자 본인도 수십 편의 논문 리서치 파일을 마크다운으로 정리한 뒤 출처를 요청했는데, AI가 존재하지 않는 논문들을 리스트에 포함해 나열한 것을 확인했다고 밝혔습니다. 존재하지 않는 질병이나 처방전이 그럴듯한 의료 진단서 형식으로 나올 수 있다는 뜻입니다. ³

AI와 안전하게 대화하고 정보를 쓰는 네 가지 원칙

AI에게 내 증상과 사생활을 털어놓는 것이 위험해서 피해야 할까요. 꼭 그런 것만은 아닙니다. 대화가 새어나가지 않게 내 환경을 통제하고, AI가 만든 답변을 사실 그대로 수용하는 대신 '검증의 출발점'으로 취급한다면 유용한 도구로 쓸 수 있습니다.

우선 개인 정보를 입력할 때의 원칙부터 세워야 합니다. 보안 가이드라인에서는 실명이나 구체적인 카드번호, 내부 프로젝트명 같은 식별 정보를 직접 채팅창에 입력하는 것 자체를 피하도록 권장합니다. "내 이름은 홍길동이고 ABC프로젝트를 담당한다"라고 쓰기보다, "한 사람의 건강 상태"나 "어떤 회사"처럼 가명 처리하고 일반적인 상황으로 질문을 바꾸는 습관을 들여야 합니다. 민감한 증상이나 개인적인 비밀은 임시 채팅 모드로 전환하되, 질문 내용 자체에서 식별 정보나 이름은 지워버리는 것이 가장 안전한 예방법입니다. ¹

두 번째 원칙은 AI가 던진 구체적인 '사실 주장'에 대해 체크리스트를 적용하는 것입니다. ▲인용한 출처가 명확한가 ▲원문 내용이 일치하는가 ▲구체적인 수치나 근거가 제시되었는가 ▲다른 정보원이나 다른 AI 모델과 일치하는가를 점검해 보세요. 이 과정이 끝나면 해당 분야의 전문가(의사, 변호사 등)와 교차 검토하는 절차가 필요합니다. ³

세 번째는 AI 스스로에게 반박이나 확신도를 요구하는 '다중 검증 루틴'을 익히는 것입니다. 단순히 "내 증상을 진단해줘"라고 묻지 말고, "당신이 방금 한 진단이 사실이라고 확신하는가?" 또는 "혹시 이 진단에 반대되는 의견이나 대안은 없는가?"라고 되물어 보는 방식입니다. AI에게 확신도를 물어보거나 반대 의견을 요청하는 것이 할루시네이션을 잡아내는 데 효과적이라고 전문가들은 지적합니다. ³

네 번째는 RAG(Retrieval-Augmented Generation) 개념을 이해하는 것입니다. RAG는 AI가 혼자서 확률적 추측으로 빈칸을 채우지 않도록, 먼저 검증된 데이터베이스나 사내 문서를 검색해서 그 내용을 바탕으로 답하게 하는 기술적 구조입니다. 기업 환경에서 주로 쓰이는 개념이지만, 일반 사용자 입장에서는 'AI의 답변을 웹의 신뢰할 수 있는 원문이나 의학 논문 사이트에서 직접 검색해 확인하는 습관'과 같은 이치로 생각할 수 있습니다.

2025년 8월 구글 검색 결과에 뜬 남의 사생활을 보며 깨달았듯, 내 대화가 어디로 흘러가는지 설정을 끄고 켜는 세심함은 내가 지킬 수 있는 영역입니다. 반면 AI가 내뱉는 그럴듯한 진단이 실제로 내 몸에 일어나는 일인지는, AI가 아니라 내가 직접 병원으로 향하거나 전문가를 찾아 검증해야 하는 영역입니다. AI가 뱉어낸 자신감 넘치는 답변에 안심하여 마지막 안전장치를 거두지 않는다면, 생성형 AI는 내 개인정보를 잘 간수한 채로 유용한 조언자 역할을 해줄 것입니다.