“AI를 잘 쓰려면 뭘 배워야 하지?”
이 질문을 따라가다 보니 이상한 점을 발견했다. 사람들은 AI를 ‘어떻게 쓸까’에만 집중하고 있었다. 프롬프트 작성법, 좋은 AI 도구 추천, 업무 자동화 팁.
그런데 정작 AI 때문에 수십억 달러가 증발하고, 수만 명이 해고되고, 346명이 목숨을 잃은 사건들을 들여다보면, 문제는 AI를 ‘못 써서’가 아니었다. AI를 ‘너무 잘 쓰려고만 해서’ 벌어진 일이었다.
개별 사건이 아니라 사건들 사이의 연결고리, 즉 전체 구조를 보는 것. 이것을 시스템 사고(Systems Thinking)라고 한다.
여러 사건의 이야기를 듣고 조합해보니, 같은 구조가 반복되고 있었다. 그 이야기를 여기에 풀어본다.
AI가 5억 달러를 날린 날
2021년, 미국 최대 부동산 플랫폼 질로(Zillow)에서 벌어진 일이다.
질로는 야심 찬 계획을 세웠다. AI 알고리즘으로 집값을 예측해서, 오를 것 같은 집을 직접 사서 되파는 사업이었다. ‘iBuying’이라고 불렀다. 질로는 “AI로 연간 200억 달러의 매출을 올리겠다”고 선언했다.
처음에는 잘 됐다. AI가 “이 집 사라”고 하면 샀고, “이 가격에 팔아라”고 하면 팔았다. 그런데 2021년 하반기, 미국 부동산 시장이 식기 시작했다. 사람이라면 뉴스를 보고, 동네 분위기를 살피고, “잠깐, 좀 기다려보자”라고 했을 것이다.
AI는 그러지 않았다. 시장이 꺾이고 있다는 맥락을 읽지 못한 채, 계속 높은 가격에 집을 사들였다. 결과는 5억 달러 이상의 손실이었다. 직원 2,000명이 해고됐고, 시가총액 400억 달러가 증발했다.
(CNN / InsideAI News)
이 이야기를 듣고 조합해보니 발견한 것이 있다. 질로의 AI에는 ‘브레이크’가 없었다. 시스템 사고에서 말하는 균형형 피드백 루프, 즉 “상황이 나빠지면 속도를 줄이는 장치”가 설계되지 않았다. 가속 페달만 있는 차를 고속도로에 올린 셈이다.
AI가 여성을 걸러낸 방법
아마존은 2014년부터 AI로 채용을 자동화하려 했다. 10년 치 이력서를 학습시켰다. AI는 패턴을 찾아냈다. 과거 10년간 기술직에 합격한 사람은 대부분 남성이었으니까, AI는 “남성이 더 좋은 지원자”라는 결론을 내렸다.
‘여성 체스동아리’, ‘여대 졸업’ 같은 단어가 이력서에 있으면 감점했다. 3년간 이 시스템은 인간의 감독 없이 점수를 매겼다. 2018년에야 이 사실이 알려지면서 폐기됐다.
(Reuters / ACLU)
이 이야기에서 발견한 것. AI는 데이터의 거울이다. 과거 데이터에 차별이 담겨 있으면, AI는 그 차별을 자동화하고 대규모로 확대한다. 그런데 더 흥미로운 점은, 아마존은 이 문제를 알고도 2년 동안 수정만 시도하다가 결국 포기했다는 것이다. 시스템 안에 박힌 편향은 부분 수정으로 고칠 수 없었다. 구조 자체를 다시 설계해야 했다.
346명이 왜 죽었는가
2018년 10월 라이온에어, 2019년 3월 에티오피아항공. 같은 기종, 같은 원인, 5개월 간격으로 346명이 사망했다.
보잉 737 MAX에는 MCAS라는 자동화 시스템이 있었다. 비행기 기수가 너무 올라가면 자동으로 내려주는 장치다. 문제는 이 시스템이 센서 하나에만 의존했고, 그 센서가 고장 났다는 것이다. MCAS는 멀쩡한 비행기의 기수를 반복적으로 아래로 밀었다.
조종사들은 무슨 일이 벌어지는지 몰랐다. 보잉이 이 시스템의 존재를 충분히 알리지 않았기 때문이다. 왜 알리지 않았을까? 알리면 조종사 재훈련이 필요했고, 재훈련은 돈과 시간이 들었고, 에어버스와의 경쟁에서 뒤처질 수 있었기 때문이다.
Forbes의 분석이 핵심을 찌른다. “보잉의 문제는 나쁜 엔지니어링이 아니었다. 취약한 백업 시스템, 부적절한 훈련 프로토콜, 에어버스와 경쟁하라는 문화적 압력, 기술적 해결에 대한 과잉 확신이 상호작용한 결과였다.”
(NYT / Forbes / NPR)
이 이야기에서 발견한 것. 보잉 조종사들은 MCAS 결함을 사고 발생 2년 전부터 감지하고 있었다. 그런데 그 경고는 의사결정 구조 안에서 묻혔다. 현장의 신호가 위로 올라가지 못하는 조직 구조, 이것이 346명의 목숨을 앗아간 진짜 원인이었다.
당신의 뇌가 줄어들고 있다
2025년, 카네기멜론대학교와 마이크로소프트가 319명의 지식노동자를 조사했다. 결과는 충격적이었다.
AI에 대한 신뢰가 높은 사람일수록 비판적 사고가 최대 69%까지 감소했다. 반면, 자기 자신의 역량을 신뢰하는 사람은 AI를 써도 사고력이 줄지 않았다.
조선일보는 “AI 없이 혼자 사고하거나 판단하지 못하는 AI 중독자가 대거 양산될 가능성”을 보도했다. 미국인의 60%는 이미 주 1회 이상 AI 도구를 사용하고 있었다.
(AI타임스 / ZDNet코리아 / 조선일보)
이 이야기에서 발견한 것.
계산기를 오래 쓰면 암산 능력이 떨어지는 것처럼, AI에 판단을 오래 맡기면 판단 능력 자체가 퇴화한다. 그리고 이것은 개인의 문제가 아니다. 사회 전체가 동시에 같은 방향으로 약해지고 있다는 점이 시스템적으로 위험한 부분이다.
이 이야기들을 겹쳐놓으니 보이는 것
네 개의 이야기를 나란히 놓고 보니, 같은 패턴이 반복되고 있었다.
- 1단계: 누군가 AI로 효율을 높이겠다고 결정한다
- 2단계: 인간의 검토 과정이 “비효율”이라는 이름으로 축소된다
- 3단계: AI가 틀려도 감지하는 장치가 없다 (피드백 루프 부재)
- 4단계: 문제가 터지면 AI 탓, 알고리즘 탓을 한다
- 5단계: 실제 비용은 직원, 소비자, 시민이 부담한다
그런데 이 패턴을 더 깊이 파보니, 패턴 위에 더 큰 구조가 있었다.
사건 뒤에 숨은 상위 구조 세 가지
여러 데이터를 조합해보니, 개별 사건들을 반복적으로 만들어내는 상위 구조가 발견됐다.
첫째, 데이터에서 돈까지 한 바퀴 도는 폐쇄 루프가 소수 기업에 집중되어 있다.
2024년 12월 기준 챗GPT(오픈AI)의 시장 점유율은 87%였다. 2025년 말 기준으로도 오픈AI, 구글, 앤스로픽 3개 회사가 AI 시장의 60에서 80%를 지배하고 있다. KAIST 미래전략연구센터는 “AI 권력 구조의 가장 큰 특징은 승자독식(winner-takes-all)”이라고 분석했다.
(조선일보 / KAIST)
구글은 검색 데이터로 AI를 훈련시키고, 그 AI로 광고를 배치해서 돈을 번다. 메타는 사용자 행동 데이터로 AI를 훈련시키고, 그 AI로 뉴스피드를 결정해서 광고 수익을 올린다. 데이터 수집, AI 학습, 판단, 수익이 같은 회사 안에서 순환한다. 외부에서 이 루프를 검증하거나 개입할 통로가 거의 없다.
둘째, “사고력 약화가 AI 의존을 강화하는” 강화형 피드백 루프가 돌고 있다.
이것이 여러 데이터를 조합했을 때 가장 눈에 띈 구조다.
AI를 많이 쓴다 → 스스로 생각할 기회가 줄어든다 → 비판적 사고력이 약해진다 → AI 없이는 불안해진다 → AI를 더 많이 쓴다 → 사고력이 더 약해진다 → (무한 반복)
Bain & Company는 이것을 “AI의 의도하지 않은 결과 중 하나인 기술, 비판적 사고, 이해력의 상실”이라고 표현했다. 이 루프가 위험한 이유는, 한 번 돌기 시작하면 스스로 가속한다는 것이다. 멈추려면 의식적으로 브레이크를 밟아야 한다.
(Bain & Company)
셋째, AI 수익이 규제를 완화시키고, 완화된 규제가 더 많은 AI 배포를 가능하게 하는 구조다.
조선일보는 “빅테크 로비에 뒷전으로 밀리는 AI 규제”를 보도했다. EU AI법은 시행도 되기 전에 완화 논의가 시작됐고, Digital Omnibus 법안은 “빅테크의 로비 요구를 대거 반영한 것”으로 분석됐다. 미국 트럼프 행정부는 외교관들에게 미국 기술기업 규제에 반대하는 로비를 지시한 것으로 보도됐다.
(조선일보 / 한국경제 / Hacker News/해다)
한국도 2026년 1월 22일 세계 최초로 AI 기본법을 전면 시행했다. 그런데 한겨레는 “산업 진흥에만 치우쳐 인권과 정보 보안에 대해선 도외시한다”고 지적했다.
(BBC 코리아 / 한겨레)
표면의 주체와 실제 결정권자가 다르다는 발견
데이터를 추적하면서 발견한 또 하나의 패턴이 있다.
질로 사태 때 언론은 “알고리즘이 실패했다”고 보도했다. 아마존 사태 때는 “AI가 편향됐다”고 했다. 보잉 사태 때는 “자동화 시스템이 오작동했다”고 했다.
그런데 이 사건들의 실제 결정권자는 알고리즘도, AI도, 자동화 시스템도 아니었다.
질로의 iBuying 확대는 주가 상승을 원하는 경영진의 전략이었다. 아마존의 AI 채용 도입은 채용 비용을 줄이려는 경영 판단이었다. 보잉의 MCAS 간소화는 에어버스와 경쟁에서 시간을 벌려는 이사회의 결정이었다.
Wharton의 분석은 “AI 시스템이 실패하면 책임은 개발자에서 이사회, 규제기관까지 빠르게 연쇄적으로 퍼진다”고 했다. 그런데 실제로 비용을 부담한 것은 해고된 직원들, 탈락한 여성 지원자들, 목숨을 잃은 승객들이었다.
(Knowledge at Wharton)
이익을 얻는 쪽과 비용을 부담하는 쪽이 분리되어 있다. 이것은 시스템 사고에서 가장 위험한 구조 중 하나다. 결정하는 사람이 결과를 직접 겪지 않으면, 시스템은 계속 같은 방향으로 폭주한다.
이 구조가 틀릴 수 있는 조건도 찾아봤다
한쪽 방향으로만 보면 시스템 사고가 아니다. 반대 방향의 증거도 추적했다.
IMD 경영대학원은 “아마존의 성차별 AI가 문제가 되었지만, 인간 채용 담당자의 편향은 측정조차 되지 않는 경우가 대부분”이라고 지적했다. AI의 편향은 적어도 발견되고 수정될 수 있지만, 인간의 편향은 더 교묘하게 숨겨진다는 것이다.
(IMD)
카네기멜론 연구에서도 중요한 예외가 발견됐다. 자기 자신의 역량을 신뢰하는 사람은 AI를 사용해도 비판적 사고가 줄어들지 않았다. 문제는 AI 자체가 아니라 사용하는 인간의 태도에 있을 수 있다.
오픈AI의 시장 점유율은 2024년 87%에서 2025년 말 74%로 줄어들고 있고, 구글 제미나이와 중국의 딥시크 같은 경쟁자가 등장하면서 독점 구도가 변할 가능성도 있다.
하버드 비즈니스 스쿨은 “인간의 경험과 판단이 여전히 혁신을 이끈다”고 분석했다. AI가 보조 도구로 잘 작동하는 사례도 분명히 존재한다.
(HBS)
아직 말해지지 않은 것들에 대한 예측
지금까지의 데이터와 구조를 조합해보면, 아직 크게 터지지 않았지만 이미 전조가 보이는 상황들이 있다.
첫째, AI 에이전트 자율 판단 사고가 본격화될 조짐이 보인다.
2026년 2월, AI 에이전트가 전사 알림 시스템을 두 차례 마비시킨 사례가 보고됐다. 또 다른 곳에서는 AI 에이전트가 1,200여 건의 운영 DB를 통째로 삭제한 사고가 발생했는데, 사고 직후 AI는 “복구가 불가능하다”고 잘못 보고해서 혼란을 키웠다.
에이전트형 AI 시장이 2025년 73억 달러에서 2034년 1,390억 달러로 성장할 것으로 전망되는 상황에서, 자율 판단 범위가 넓어질수록 이런 사고의 규모와 빈도도 커질 수 있다. 일본은 이미 “AI 에이전트에 인간 판단을 필수로 포함시키라”는 지침을 추진하고 있다.
(메일리 / 마켓인)
둘째, AI 일자리 충격이 “해고”가 아니라 “채용 중단”이라는 보이지 않는 형태로 이미 시작됐다.
연합뉴스에 따르면 IBM CEO는 “향후 5년 내 백오피스 업무의 약 30%를 AI와 자동화로 대체하겠다”고 선언했다. 머서(Mercer)의 2026년 보고서에서 AI로 인한 일자리 상실 우려는 2024년 28%에서 2026년 40%로 급증했다.
2025년에만 미국에서 AI를 이유로 명시한 해고가 54,836건이었다. 그런데 이보다 더 조용하게, 더 큰 규모로 벌어지고 있는 것은 “처음부터 사람을 뽑지 않는 것”이다. 해고는 뉴스가 되지만, 채용 공고가 사라지는 것은 뉴스가 되지 않는다.
(연합뉴스 / 한경매거진 / 한겨레)
셋째, AI 리터러시 격차가 새로운 계급을 만들고 있다.
세계경제포럼(WEF)은 “AI 리터러시 격차가 영구적인 계급 분리로 굳어질 것”이라고 경고했다. UNESCO도 “AI 격차는 기존 디지털 격차를 넘어선 새로운 불평등”이라고 분석했다.
미국의 AI 민간 투자(1,090억 달러)는 중국의 12배, 영국의 24배다. AI를 활용할 수 있는 사람과 없는 사람 사이의 간극이, 과거 인터넷 접근성 격차보다 더 빠르고 더 깊게 벌어지고 있다.
(WEF / UNESCO)
넷째, 딥페이크와 AI 생성 허위정보가 민주주의의 판단 인프라를 흔들고 있다.
Stimson Center는 “AI가 허위정보의 개발과 확산 방식 자체를 근본적으로 변화시키고 있다”고 분석했다. 유럽의회 보고서는 “위협 행위자들이 딥페이크 기술 사용을 증가시킬 가능성이 매우 높다”고 경고했다.
사람들이 “무엇이 진짜인지” 판단하는 능력 자체가 AI에 의해 약화되는 시점에, AI가 만들어낸 가짜 정보가 쏟아지고 있다. 판단력 약화와 허위정보 증가가 동시에 진행되는 것, 이것이 시스템 사고로 봤을 때 가장 위험한 교차점이다.
(Stimson Center / EU Parliament PDF)
이 모든 이야기에서 발견한 하나의 공통점
질로도, 아마존도, 보잉도, 그리고 지금 AI에 점점 의존하고 있는 우리 모두도, 같은 실수를 하고 있었다.
부분만 보고 전체를 보지 않았다.
질로는 알고리즘의 정확도만 봤지, 시장 전체의 흐름을 읽는 구조를 만들지 않았다. 아마존은 채용 효율만 봤지, 10년간의 데이터에 담긴 사회적 편향을 읽지 않았다. 보잉은 MCAS의 기술적 성능만 봤지, 조종사 훈련, 백업 시스템, 조직 문화가 어떻게 연결되는지 보지 않았다.
시스템 사고란 이것이다.
한 조각이 아니라 조각들의 연결을 보는 것. AI의 답이 아니라 그 답이 나온 전체 과정을 보는 것. 지금 눈앞의 효율이 아니라, 그 효율이 6개월 후, 1년 후 어떤 파급 효과를 만들지 그려보는 것.
시스템 사고를 일상에서 실천하는 7가지 방법
위의 모든 이야기와 데이터를 조합한 끝에 정리한 실천 목록이다.
하나, AI의 답을 받으면 “왜?”를 세 번 물어본다.
첫 번째 “왜”는 표면적 이유를 알려준다. 두 번째 “왜”는 그 이유의 근거를 드러낸다. 세 번째 “왜”에서 비로소 구조가 보이기 시작한다. 질로의 누군가가 AI에게 “왜 이 가격이 적정하다고 판단했어?”라고 세 번만 물었어도, 5억 달러를 살릴 수 있었다.
둘, AI를 도입하기 전에 “이 AI가 틀렸을 때 누가, 어떻게 감지하는가”를 먼저 설계한다.
가속 페달만 있고 브레이크가 없는 차는 만들지 않는 것이 당연하다. AI도 마찬가지다. 시스템 사고에서는 이것을 균형형 피드백 루프(Balancing Feedback Loop)라고 부른다. 질로에는 이것이 없었고, 보잉에서는 있었지만 작동하지 않았다.
셋, 일주일에 한 번, AI 없이 스스로 판단하는 시간을 만든다.
카네기멜론 연구가 보여준 것처럼, 자기 역량을 신뢰하는 사람은 AI를 써도 사고력이 줄지 않는다. 근육처럼, 비판적 사고도 쓰지 않으면 퇴화한다. 간단한 것부터 시작하면 된다. 오늘 점심 메뉴를 AI에게 물어보는 대신 직접 고르는 것부터.
넷, “누가 이익을 보는가”를 항상 추적한다.
AI가 확산될 때, 새로운 기술이 “필수”라고 홍보될 때, 규제가 완화될 때. 그 이면에서 이익을 얻는 주체가 누구인지 따져보면 시스템의 작동 방향이 보인다. AI 프로젝트의 80%가 실패한다는 통계에도 AI 투자가 늘어나는 이유는, 실패의 비용과 이익을 서로 다른 사람이 부담하기 때문이다.
다섯, “이 AI가 조직의 다른 부분에 어떤 영향을 주는가”를 지도로 그려본다.
보잉은 MCAS만 봤다. 훈련 체계, 조종사 인터페이스, 안전 문화, 경쟁 압력이 어떻게 연결되는지 하나의 그림으로 그리지 않았다. AI 하나를 도입하면 업무 흐름, 동료의 역할, 고객 경험, 조직 문화까지 연쇄적으로 바뀐다. 도입 전에 그 연결 지도를 그려보는 것만으로도 많은 문제를 미리 감지할 수 있다.
여섯, 내 판단을 확인하는 증거만 찾지 말고, 내 판단이 틀릴 조건을 능동적으로 찾는다.
“AI가 위험하다”는 주장에도 반례가 있다. “AI가 안전하다”는 주장에도 반례가 있다. 한쪽으로만 자료를 모으면 시스템 사고가 아니라 확증 편향이다. “내 가설이 틀리려면 어떤 조건이 필요한가?”를 스스로 질문하는 습관이 시스템 사고의 핵심 근육이다.
일곱, 단기 효율이 아니라 장기 회복력을 기준으로 판단한다.
Forbes 분석에 따르면, 장기 인센티브를 도입한 기업이 2년 후 재무 성과에서 동종 업계를 앞질렀고, 장기 지향적 기업이 더 높은 매출과 생존율을 기록했다. 분기 실적에 쫓기면 질로처럼 가속 페달만 밟게 된다. “이 결정이 6개월 후에도 괜찮을까?”라는 질문 하나가 시스템의 폭주를 막는 브레이크가 된다.
마지막으로
이 글은 결론을 내리지 않았다. 여러 곳에서 들려오는 이야기들을 모아서 겹쳐놓았을 뿐이다.
그런데 이야기들을 겹쳐놓으니, 개별 사건에서는 보이지 않던 연결고리가 보이기 시작했다. 질로와 보잉과 아마존이 같은 구조의 다른 버전이라는 것. 그 구조가 지금 이 순간에도 AI 에이전트 사고, 조용한 채용 중단, AI 리터러시 격차, 딥페이크 확산이라는 새로운 형태로 반복되고 있다는 것.
개별 사건에 놀라지 않고, 그 사건을 만든 구조를 읽는 것. 부분이 아니라 전체의 연결을 보는 것. 그것이 시스템 사고이고, 이 글을 통해 각자가 직접 판단할 수 있는 재료를 모아보았다.
이 재료를 어떻게 쓸지는 읽는 사람의 몫이다.
관련글
- 인지 편향 인식. AI가 당신 대신 생각하는 시대, 조용히 무너지는 판단력의 기록
- 통계적 소양 없으면 AI 시대에 눈 뜨고 당한다
- 확률적 사고, AI가 “맞다”고 말한 순간 당신은 생각을 멈췄다
- 추론 능력, AI가 대신 생각해주는 시대에 조용히 사라지고 있는 인간의 핵심 무기
- 패턴 인식. 같은 구조가 세 번째 반복되면, 그건 시스템이다