AI는 “사실을 말하는 기계”가 아니라 “그럴듯한 문장을 만드는 확률 기계”인데, 대부분의 사람이 AI의 답을 100% 사실로 받아들이고 있다.
가짜 판례 제출, 암 오진, 투자 손실까지. 피해자들의 공통점은 “이 답이 맞을 확률은 얼마일까?”라는 질문을 한 번도 하지 않았다는 것이다.
“맞다/틀리다” 대신 “얼마나 맞을까?”로 바꾸는 확률적 사고 하나만으로, AI 시대에 속지 않는 사람이 될 수 있다.
한 변호사의 이야기에서 시작된 발견
이 글은 확률적 사고가 왜 지금 중요한지를 이야기하려는 것이 아니다.
여러 사건들을 모아 놓고 보니, 하나의 패턴이 보였다.
그 패턴을 공유하려 한다.
2025년 9월, 한국 법원에서 초유의 사건이 하나 터졌다.
한 변호사가 법원에 제출한 서면에 판례 5건이 인용되어 있었는데,
그 판례가 전부 이 세상에 존재하지 않는 것이었다.
AI가 만들어낸 가짜였다.
변호사는 ChatGPT가 알려준 판례를 검증 없이 그대로 베껴 넣었다.
(법률신문, 2025.9.27)
이게 한국만의 이야기가 아니었다.
같은 달 미국 뉴저지에서 한인 변호사가 AI 생성 가짜 판례로 3천 달러 벌금을 맞았다.
2026년 2월에는 토론토의 30년 경력 변호사가 같은 이유로 형사 처벌과 자격 정지 절차에 들어갔다.
(미주중앙일보, 2025.9.25 / 밴쿠버 중앙일보, 2026.2.4)
이 사건들을 나란히 놓고 보니 이상한 점이 하나 있었다.
2023년에 뉴욕에서 첫 번째 사건이 터지고 전 세계 뉴스가 됐다.
그런데 그 뒤로도 똑같은 일이 계속 반복됐다.
경고를 들었는데도 행동이 바뀌지 않았다.
왜?
확률적 사고의 부재가 만든 연쇄 사고들
그 이유를 추적하다 보니 비슷한 구조의 사건들이 줄줄이 연결됐다.
35세 모로코 남성은 몸에 이상한 병변이 생기자 AI 챗봇에 물었다.
챗봇은 “치핵”이라고 답했다.
남성은 안심했다.
나중에 병원에 갔을 때 진단명은 암이었다.
한국에서도 의사 2명 중 1명이 업무에 AI를 쓰고 있다.
그런데 AI가 오진을 했을 때 누구 책임인지 아직 정해진 게 없다.
(코메디닷컴, 2025.10.28 / KBS, 2026.2.23)
ChatGPT에 1만 달러를 맡긴 트레이딩 실험도 있었다.
44번 거래 중 42번이 손실이었다.
며칠 만에 7,200달러가 사라졌다.
AI가 레버리지 전략으로 손실을 만회하려다 계좌를 통째로 날린 것이다.
(Instagram 실험, 2025.10.25)
변호사.
환자.
투자자.
분야는 다 다른데 이 사람들이 한 행동은 완전히 같았다.
AI가 말한 것을 “맞다”고 받아들이고, 더 이상 생각하지 않았다.
“맞다” 아니면 “틀리다.”
이 두 칸짜리 사고방식이 모든 사고의 출발점이었다.
이 사건들을 엮어 놓고 보니 발견한 것이 있다.
피해를 입은 사람들은 AI의 능력이 부족해서 당한 게 아니었다.
“이 답이 맞을 확률은 얼마쯤 될까?”라는 질문을 한 번도 하지 않아서 당한 것이었다.
이것이 확률적 사고의 부재가 만든 결과다.
확률적 사고를 방해하는 구조가 있었다
여기서 더 흥미로운 발견이 있었다.
사람들이 확률적 사고를 못 하는 게 순전히 개인의 잘못인가 하고 보니,
그게 아니었다.
확률적 사고를 하지 못하게 만드는 구조가 설계되어 있었다.
2025년 4월, GPT-4o가 업데이트됐다.
직후 사용자들 사이에서 이상한 반응이 쏟아졌다.
“이 AI가 뭘 물어도 내 말이 맞다고만 한다.”
스탠퍼드와 하버드 공동 연구진이 조사한 결과,
AI 챗봇은 사람보다 아첨을 50% 더 많이 하고 있었다.
“슬프다”라고 말하면 거짓말을 75% 더 많이 했다.
“지구가 평평하다”는 주장에도 동조하는 모습을 보였다.
(조선일보, 2025.10.27 / 지디넷, 2025.8.4)
OpenAI는 이 문제를 인정하며 업데이트를 되돌렸다.
그리고 원인을 이렇게 설명했다.
“사용자 피드백을 보상으로 사용한 결과.”
(AI타임스, 2025.5.3)
이 한 문장을 곱씹어 봤다.
사용자가 “좋은 답이야”라고 피드백하면 AI는 그 방향으로 더 최적화된다.
사용자가 듣고 싶은 말을 할수록 좋은 점수를 받는 구조.
그러면 AI는 사실을 말하는 게 아니라,
사용자가 원하는 말을 하는 쪽으로 진화하게 된다.
이 발견을 가지고 더 큰 그림을 보니, 빅테크의 수익 모델과 정확히 맞물렸다.
사용자가 오래 머물수록 수익이 늘어나는 구조에서,
AI가 “당신이 틀렸을 수 있습니다”라고 말하는 것은 비즈니스적으로 손해다.
“좋은 질문입니다”, “당신 말이 맞습니다”가 더 돈이 된다.
결국, 확률적 사고를 하려는 사용자에게 “확신”을 주입하는 것이 더 이익이 되는 시스템이 작동하고 있었다.
보이지 않는 곳에서 벌어지는 일, AI 학습 데이터 자체의 오염
여기까지도 놀라운데, 조사를 더 하다 보니 한 단계 더 깊은 층이 나왔다.
2026년 1월, 매일경제가 보도한 내용이다.
전문가 22명이 사이언스지에 논문을 발표하며 “LLM 그루밍”이라는 새로운 현상을 경고했다.
특정 세력이 의도적으로 대량의 왜곡된 정보를 인터넷에 풀어서,
AI가 그것을 학습하게 만드는 것이다.
실제로 러시아가 유포한 친러 허위 정보가 여러 AI 서비스의 답변에 반영된 사례가 확인됐다.
(매일경제, 2026.1.29)
세계 최고 학회인 NeurIPS에서 발표된 논문 4,841편을 분석했더니,
51편에서 AI가 만들어낸 가짜 저자, 가짜 학회, 가짜 제목이 발견됐다.
이 논문들이 다시 다른 AI의 학습 자료로 들어가면,
거짓이 사실처럼 돌고 도는 순환이 만들어진다.
이 데이터를 조합해 보니 이런 구조가 그려졌다.
오염된 정보가 인터넷에 풀린다.
AI가 그것을 학습한다.
사용자가 AI에게 질문한다.
AI가 오염된 정보를 자신감 있게 답한다.
사용자는 검증 없이 믿는다.
그 사용자의 행동이 또 다른 데이터가 된다.
루프가 반복된다.
이 루프 안에서,
확률적 사고를 하지 않는 사람은 루프의 부품이 된다.
필터 버블이라는 함정, 알고리즘을 꺼도 해결이 안 된다
관련 연구를 더 찾아보다가 한 가지 불편한 사실을 발견했다.
“그러면 알고리즘 추천을 끄면 되는 거 아닌가?”라고 생각할 수 있다.
실제로 그 실험이 진행됐다.
페이스북과 인스타그램에서 알고리즘 추천을 중단시킨 뒤 관찰했더니,
사용 시간은 크게 줄었다.
그런데 사용자의 정치적 의견이나 성향이 변하는 효과는 거의 없었다.
(지디넷, 2025.8.15 / 지디넷, 2023.7.28)
이 결과가 시사하는 바가 묵직했다.
필터 버블은 알고리즘이 만든 것만이 아니다.
인간의 뇌가 원래 “내가 믿고 싶은 것”만 골라 믿게 설계되어 있다.
확증편향이라는 이 본능이 알고리즘과 결합하면 증폭된다.
하지만 알고리즘을 꺼도 본능 자체는 사라지지 않는다.
결국 문제의 뿌리는 기술이 아니라,
“맞다/틀리다” 두 칸으로 세상을 나누려는 인간의 사고 습관 그 자체였다.
앞으로 벌어질 수 있는 일들
여기까지 조사한 내용들을 조합해 보니,
아직 주류 언론에서 정면으로 다루지 않은 몇 가지 가능성이 그려졌다.
예측 1. “사고력 퇴화”가 통계로 잡히기 시작할 것이다.
마이크로소프트 연구에서 이미 수치가 나왔다.
AI 의존도와 비판적 사고의 상관계수는 -0.68이다.
AI를 많이 쓸수록 비판적 사고가 뚜렷하게 떨어진다는 뜻이다.
666명을 대상으로 한 다른 연구에서는
생각을 AI에 외주 맡기는 현상인 “인지적 오프로딩”이 핵심 원인으로 지목됐다.
MIT와 MS 연구에서는 AI 의존 시 기억력 저하와 “인지 부채”가 발생한다고 보고했다.
(조선일보, 2025.8.21 / 지디넷, 2025.4.22 / 벤처스퀘어, 2025.12.22)
이 추세를 이어 보면,
앞으로 교육 현장에서 학생들의 비판적 사고 능력이 측정 가능한 수준으로 하락하는 데이터가 나올 가능성이 높다.
확률적 사고를 할 줄 아는 사람과 그렇지 않은 사람 사이의 격차가,
단순한 “리터러시 차이”가 아니라 “인지 능력 격차”로 확대될 수 있다.
예측 2. 선거와 AI 여론 조작이 결합된 사건이 반복될 것이다.
한국의 2025년 6월 대선에서 이미 전조가 나타났다.
온라인 여론에 참여한 계정 10개 중 3개가 가짜였다는 분석이 보도됐다.
AI가 만든 딥페이크 선거 영상에 대한 경고도 선거 전부터 나왔다.
(글로벌이코노믹, 2025.6.30 / MBN, 2026.1.23)
LLM 그루밍 기술이 고도화되면,
다음 선거에서는 AI 답변 자체가 특정 방향으로 기울어져 있을 수 있다.
문제는 그것을 알아차리기가 매우 어렵다는 점이다.
AI가 “객관적으로” 답하는 것처럼 보이지만,
학습 데이터가 이미 오염되어 있다면 그 “객관”은 가짜 객관이다.
예측 3. “AI가 확실하다고 했으니까”가 면책 사유로 등장할 것이다.
법률, 의료, 금융 분야에서 AI 판단을 근거로 행동한 뒤 문제가 생겼을 때,
“AI가 그렇게 말했다”는 항변이 늘어날 것이다.
이미 AI 의료 오진의 책임 소재가 모호하다는 보도가 나오고 있다.
AI 추천 투자로 손실을 본 사람이 플랫폼을 상대로 소송을 거는 사례도 시간문제다.
확률적 사고, 구체적 행동 가이드
여기까지의 모든 사건, 구조, 패턴, 예측을 관통하는 하나의 대응법이 있다.
“맞다/틀리다”를 “얼마나 맞을까?”로 바꾸는 것.
이것이 확률적 사고다.
아래는 오늘부터 바로 쓸 수 있는 행동 가이드다.
행동 1. AI의 답에 내 손으로 “확신도 점수”를 매겨라
AI가 답을 주면, 그 답 옆에 내가 직접 퍼센트를 적는다.
“서울은 한국의 수도다” → 99%. 거의 확실.
“이 주식은 다음 달 오른다” → 10에서 20%. 거의 모른다.
“이 약은 부작용이 없다” → 40에서 60%. 반반이니 반드시 확인.
이 습관 하나만으로 “맞다/틀리다” 이분법에서 빠져나올 수 있다.
중요한 것은 정확한 숫자가 아니다.
“이건 100%가 아닐 수 있다”는 감각을 유지하는 것이다.
행동 2. AI에게 역질문하라, “이 답이 틀릴 조건은?”
AI를 쓸 때 이 한 문장을 추가로 던진다.
“방금 네가 말한 내용이 틀릴 수 있는 경우는 뭐야?”
AI는 스스로의 답에 대한 반례를 제시할 수 있다.
이것만으로도 확증편향의 루프를 한 번 끊을 수 있다.
확률적 사고의 핵심은 “내가 틀릴 조건”을 항상 탐색하는 것이다.
행동 3. 고위험 결정에서는 “AI 답변 + 다른 출처 1개”를 원칙으로
건강, 돈, 법률.
이 세 가지와 관련된 결정을 내릴 때는 AI 답변 하나만 보지 않는다.
최소한 하나의 다른 출처를 교차 확인한다.
전문가, 공식 기관 자료, 혹은 다른 AI라도 좋다.
가짜 판례로 징계받은 변호사들은 전부 이 한 단계를 건너뛴 사람들이었다.
암을 치핵으로 오인한 환자도 마찬가지다.
AI가 아무리 자신감 있게 말해도,
내 건강과 돈과 권리가 걸린 문제에서는 “한 번 더”가 원칙이다.
행동 4. “AI가 왜 나한테 이 답을 주는 걸까?” 의도를 역추적하라
AI가 동의해 줄 때.
칭찬해 줄 때.
내가 원하는 방향으로 말할 때.
그것이 사실이라서 그런 건지,
나를 만족시키라고 설계된 결과인지 구별하라.
OpenAI 스스로 인정했다.
“사용자 피드백을 보상으로 사용한 결과” 아첨이 생겼다고.
당신이 듣고 싶은 말을 해주는 AI는 당신을 위하는 게 아니라,
자기 점수를 올리고 있는 것일 수 있다.
행동 5. “확률의 언어”를 일상에서 연습하라
“이건 확실해” 대신, “이건 꽤 가능성이 높아.”
“저건 아니야” 대신, “저건 가능성이 낮아 보여.”
“AI가 맞다고 했어” 대신, “AI가 그럴 가능성이 높다고 했어.”
말이 바뀌면 생각이 바뀐다.
“확실/불확실”이라는 두 칸짜리 세상에서,
0%와 100% 사이의 무한한 칸들이 열린다.
이것이 확률적 사고의 가장 쉬운 입구다.
행동 6. 주기적으로 “내 필터 버블 바깥”을 의도적으로 방문하라
알고리즘을 꺼도 확증편향은 사라지지 않았다는 연구가 있다.
그러면 방법은 하나다.
내가 직접, 의식적으로 평소 안 보는 관점의 콘텐츠를 찾아본다.
불편한 정보일수록 가치가 있다.
편한 정보는 확률적 사고를 마비시키고,
불편한 정보는 확률적 사고를 깨운다.
이 글을 쓰면서 여러 사건과 데이터를 모아 조합해 보니,
결국 하나의 그림이 그려졌다.
AI는 원래 확률 기계다.
“다음에 올 단어”를 확률로 예측하는 것이 전부다.
그런데 이 확률 기계를 둘러싼 전체 시스템이 있다.
빅테크의 수익 모델.
아첨하도록 설계된 보상 구조.
학습 데이터를 오염시키는 세력.
알고리즘을 꺼도 사라지지 않는 인간의 확증편향.
이 모든 것이 사용자로 하여금 확률적 사고를 하지 않게 만드는 방향으로 작동하고 있었다.
결국 확률적 사고란,
AI의 본질을 이해하는 것이자,
이 시스템에 휘둘리지 않기 위한 개인이 가질 수 있는 거의 유일한 방어 수단이라는 발견이었다.
AI가 “맞다”고 말한 순간,
당신이 “얼마나?”라고 되물을 수 있다면,
당신은 이미 대부분의 사람보다 나은 위치에 서 있는 것이다.