처음에는 그냥 신기했다.

문서를 붙여 넣으면 요약이 나온다. 길고 딱딱한 문장이 몇 줄로 정리되고, 마치 내가 그 문서를 끝까지 읽은 사람처럼 느껴진다.

읽지 않았는데 읽은 것 같고, 이해하지 않았는데 이해한 것 같다.

AI는 너무 친절하다.

친절함이 위험한 게 아니다. 친절한 문장을 검증이 끝났다는 느낌으로 착각하는 순간이 위험하다.

한 줄 답: AI 요약의 가장 큰 위험은 틀린 답만이 아닙니다. 맞는 말을 하면서도 내 결정을 바꿀 조건을 빠뜨릴 수 있다는 것입니다. 약관·계약서에서 짧게 줄이는 과정에 잘 사라지는 건 “단, …”, “자동 갱신”, “일부 경우 제외” — 내 손익을 결정하는 바로 그 줄이죠. 해법은 AI를 끄는 게 아니라, 켜기 전에 한 문장을 먼저 적는 것입니다. “내가 지금 확인하려는 것은 무엇인가?”

요약은 무엇을 지우는가

요약이 나쁘다는 말이 아니다. 요약은 요약의 일을 할 뿐이다. 짧게 만드는 것이 목표이니, 덜 중요해 보이는 것을 덜어낸다.

문제는 어른의 문서에서 그 “덜 중요해 보이는 것”이 사실은 내 손익을 결정한다는 데 있다.

약관·공고·계약서처럼 조건과 예외가 결론을 뒤집는 문서에서, 놓치기 쉬운 패턴은 대개 이렇다.

요약에 잘 남는 말	요약에서 잘 빠지는 말
“가능합니다”	“단, …”
“무료입니다”	“자동 갱신”
“환불됩니다”	“일부 경우 제외”
“언제든 해지 가능”	해지 경로
“지원 가능”	예외 조항 한 줄

앞 칸은 문을 열어주고, 뒤 칸은 문을 다시 닫는다. 그리고 세상이 실제로 움직이는 지점은 앞이 아니라 뒤다.

물론 요약이 언제나 똑같은 문장을 지운다는 뜻은 아니다. 모델·프롬프트·원문 구조에 따라 결과는 달라지고, “예외와 자동갱신 중심으로 요약해줘”라고 요구하면 오히려 그게 남는다. 요점은 이거다 — 짧게 줄이는 과정에서 결론을 뒤집는 바로 그 제한 조건이 약해지거나 사라질 수 있다는 것.

그래서 더 무서운 건 틀린 요약이 아니다. 요약은 촘촘함을 평평하게 만드는데, 사실관계가 틀리지 않았더라도 내 결정을 내리기에는 불완전할 수 있다. 틀린 요약은 의심이라도 하지만, 맞으면서 불완전한 요약은 믿어버리기 쉽다.

우리는 왜 그걸 알면서도 믿는가

여기가 진짜 질문이다. 사실 우리 대부분은 요약이 뭔가를 빠뜨린다는 걸 어렴풋이 안다. 그런데도 믿는다. 왜일까.

이건 검증된 4대 원인이 아니라, 내가 요약에 기대는 순간을 돌아보며 반복해서 발견한 네 가지 힘이다.

첫째, 피로 때문이다.

문서를 끝까지 읽는 건 노동이다. 특히 성인의 문서는 “이해”보다 “판단”을 요구한다. 읽는 순간 결정을 해야 하고, 결정하는 순간 책임을 져야 한다. 그래서 우리는 읽기 앞에서 쉽게 피곤해진다. 피곤한 건 게으른 게 아니다. 읽기가 곧 책임이기 때문이다.

둘째, 속도에 대한 강박 때문이다.

빨리 처리하는 사람이 유능해 보이는 시대다. 요약은 속도를 준다. AI 요약은 속도를 ‘즉시’ 준다. 그리고 속도는 성취감처럼 느껴진다.

셋째, 책임을 미루고 싶은 마음 때문이다.

요약을 믿으면 내가 온전히 책임지지 않아도 되는 것 같다.

“나는 AI가 그렇게 말했으니까.”

이 말은 아주 편하다. 그리고 아주 위험하다.

넷째, 읽은 느낌이 주는 안도감 때문이다.

읽은 느낌이 생기면 우리는 불안을 잠시 잊는다. AI는 그 읽은 느낌을 완벽하게 제공한다.

그래서 고리가 완성된다.

안 읽는 삶 → 요약에 기대는 삶 → AI 요약을 믿는 삶 → 더 안 읽는 삶.

마지막 화살표가 무섭다. 이제 우리는 “더 쉽게” 안 읽을 수 있게 되었기 때문이다.

그럴듯함이 신뢰로 바뀌는 순간

우리는 “근거가 있느냐”보다 “그럴듯하냐”에 더 빨리 반응한다.

이건 누군가를 비난하는 말이 아니다. 사람이 원래 그렇다. 특히 피곤할 때, 시간이 없을 때, 선택지가 많을 때는 더 그렇다.

그럴듯함은 세 가지 방식으로 작동한다.

1) 그럴듯함은 ‘정리된 느낌’을 준다.

정리된 문장은 마음을 안정시킨다. 그래서 사람은 정리된 문장을 보면 “이제 끝났다”는 기분을 얻는다.

그런데 결정은 ‘끝났다’는 기분에서 나오는 게 아니다. 결정은 감수할 수 있는 것과 없는 것을 구분할 때 나온다. 그리고 그 구분에는 늘 조건이 따라온다.

이건 내 관찰만은 아니다. 심리학에는 ‘처리 유창성(processing fluency)‘이라는 개념이 있다. 사람은 쉽게 읽히고 매끄럽게 처리되는 정보를 더 참인 것처럼 받아들이는 경향이 있다는 것이다. 실제로 읽기 쉬운 글씨체나 또렷한 대비로 제시된 문장이 더 사실처럼 판단됐다는 연구가 쌓여 있다(Reber & Schwarz, 1999). AI 요약은 원문을 짧고 정돈된 형태로 바꾸니, 원문보다 쉽게 이해되는 느낌을 준다. 다만 “AI 요약이 반드시 이 때문에 더 신뢰된다”고 단정할 수는 없다 — 이건 관련 가능한 기제이지 확정된 인과가 아니다.

2) 그럴듯함은 ‘확신의 톤’을 빌려온다.

사람은 말투에 약하다. 문장이 흔들리지 않으면 믿는다. 요즘 AI는 “확실하지 않습니다”, “전문가와 상담하세요” 같은 말도 곧잘 한다. 그러니 문제는 AI가 늘 단정한다는 게 아니다. 진짜 문제는 문장의 확신 정도가 실제 근거의 강도나 정확성과 반드시 일치하지는 않는다는 것이다.

자신감은 근거가 아니다.

여기에는 또 하나의 이름이 있다. ‘자동화 편향(automation bias)’ — 사람이 자동화된 시스템의 출력을 경계하며 확인하는 대신 그냥 받아들이는 경향이다. 반대되는 정보가 있을 때조차 시스템의 답을 따르는 쪽으로 기운다는 것이 오래 연구돼 왔다(Mosier & Skitka, 1996). 예전에는 그런 권위를 TV나 신문이나 전문가에게서 느꼈다면, 이제는 매끄러운 문장과 ‘기계가 내놓은 답’이라는 권위가 동시에 작동한다.

3) 그럴듯함은 ‘책임을 나눠 갖는 느낌’을 준다.

AI가 그렇게 말했으니까. AI가 정리해줬으니까. 나는 그걸 참고했으니까.

이 말들은 마음을 편하게 한다. 하지만 “AI가 그렇게 말했다”는 사실이 내 선택의 결과를 대신 감당해주지는 않는다. 카드에서 빠져나가는 돈도, 계약서에 찍힌 서명도, 결국은 내 이름으로 남는다.

약관·공고·계약서에서 놓치기 쉬운 다섯 개

행동 조건을 정하는 문서(약관·공고·계약서)에서 그럴듯한 말이 나올 때, 우리가 놓치는 것은 대개 비슷하다.

질문	확인하는 것
언제부터?	기한
누구에게?	적용 범위
어떤 경우는?	예외
무엇을 해야?	절차
안 하면?	불이익

이 질문들이 빠지면 답은 더 그럴듯해진다. 조건이 없는 말은 매끈하고, 덜 불편하니까.

문서 종류가 다르면 확인할 것도 달라진다. 뉴스·연구·건강 정보를 요약시켰다면 이 다섯 대신 — 출처와 기준 시점, 대상 집단, 효과의 크기, 반대되는 근거, 그리고 불확실성 — 을 물어야 한다. 요약이 지우는 건 조건만이 아니라, 그 결론이 서 있는 바탕이기도 하다.

AI를 요약기가 아니라 탐지기로

그래서 AI를 거부해야 하느냐. 그럴 필요 없다. 가능하지도 않다.

대신 질문을 바꿔야 한다. AI를 어떤 관계로 둘 것인가. 대리 독자로 둘 것인가, 내 판단을 돕는 조력자로 둘 것인가. (이 관계의 세 가지 유형은 AI를 쓰는 3가지 인간형에서 따로 다뤘다.)

방법은 생각보다 단순하다. AI에게 요약을 맡기기 전에, 한 문장만 먼저 적는 것이다.

“내가 지금 확인하려는 것은 무엇인가?” (환불 조건인가, 자동 갱신인가, 예외 조항인가, 기한인가)

그 질문을 적고 나서 AI를 켜면, AI는 ‘요약기’가 아니라 ‘탐지기’가 되기 시작한다.

실제로 프롬프트가 이렇게 바뀐다.

이렇게 묻는 대신	이렇게 묻는다
“요약해줘”	“이 문서에서 내 결론을 뒤집을 수 있는 조항을 전부 찾아줘”
“핵심만”	“기한·범위·예외·절차·불이익 다섯 가지만 원문 문장 그대로 뽑아줘”
“이거 가능해?”	“가능하다고 했는데, 불가능해지는 경우를 전부 나열해줘”
“결론이 뭐야?”	“이 결론의 근거 문장이 원문 어디에 있는지 인용해줘”

오른쪽 칸에는 공통점이 하나 있다. AI에게 결론을 묻지 않는다. 결론은 내가 낸다. AI에게는 재료를 시킨다.

그리고 하나 더: 근거를 요구하는 것만으로는 부족하다

어떤 답을 받든 한 줄만 덧붙여보자.

“그 말의 근거 문장은 어디야?”

근거 문장이 없으면 보류하자. 보류는 늦음이 아니라 안전이다.

그런데 여기서 한 발 더 가야 한다. 근거 문장이 있다고 답이 맞는 건 아니다. AI는 없는 문장을 지어내 인용하기도 하고, 원문 한 줄을 문맥에서 떼어 오기도 하고, 엉뚱한 문장을 근거로 잘못 연결하기도 한다. 그래서 근거를 받은 다음이 진짜다.

1. 근거 문장을 원문 그대로 달라고 한다.
2. 그게 원문 어디(조항·문단)인지 위치를 달라고 한다.
3. 실제 원문을 열어 직접 대조한다.
4. 그 문장이 정말 그 결론을 떠받치는지 확인한다.

근거를 요구하는 것만으로는 부족하다. 근거와 답 사이를 내가 직접 확인해야 한다. 이게 문해력 2.0이 말하는 ‘판단 회수’의 마지막 걸음이다.

이 감각이 생기면 이상하게도 AI가 덜 무서워진다. AI가 틀릴까 봐 무서웠던 게 아니라, 내가 그럴듯함에 넘어갈까 봐 무서웠다는 걸 알게 되기 때문이다.

---

이 글은 문해력 2.0 시리즈의 하나다. 오늘의 프로토콜은 한 문장으로 시작하지만 세 걸음으로 끝난다 — 목적을 적고(내가 확인하려는 게 뭐지?), 조건을 찾게 하고(내 결론을 뒤집을 것을 원문과 함께), 원문과 대조한다. AI에게 결론을 묻지 않는다. 근거와 조건을 찾게 하고, 결론은 원문과 대조한 뒤 내가 낸다.

이 글은 thinkwith의 자체 조사·집계로 작성되었습니다. 출처: AI 요약을 믿게 되는 진짜 이유 — 맞는 요약이 더 위험하다 — thinkwith

자주 묻는 질문

AI 요약을 믿어도 되나요?

용도에 따라 다릅니다. 정보를 파악하는 용도라면 유용합니다. 하지만 약관·공고·계약서처럼 조건과 예외가 결론을 뒤집는 문서에서는 요약만으로 결정하면 위험합니다. 요약은 짧게 만드는 것이 목표이므로 덜 중요해 보이는 것을 덜어내는데, 이런 문서에서는 바로 그 "덜 중요해 보이는 것"이 내 손익을 결정하기 때문입니다.

AI 요약은 보통 무엇을 빠뜨리나요?

결론을 뒤집는 단서들입니다. "가능합니다"는 요약에 잘 남지만 "단, …" 뒤는 잘 빠집니다. "무료입니다"는 남지만 "자동 갱신"은 뒤로 밀립니다. "환불됩니다"는 강조되지만 "일부 경우 제외"는 작게 사라집니다. 요약이 나빠서가 아니라 요약이 요약의 일을 하기 때문입니다. 요약은 촘촘함을 평평하게 만듭니다.

AI가 위험한 이유는 틀릴 수 있어서인가요?

그것만은 아닙니다. 틀리는 건 사람도 마찬가지고 늘 있는 문제입니다. AI가 더 위험한 이유는 맞든 틀리든 "안심"을 너무 쉽게 준다는 데 있습니다. 문장이 매끄럽고 구조가 정돈되고 말투가 단정하면 사람은 "믿어도 되겠다"는 기분을 갖습니다. 하지만 그 기분은 근거와 다릅니다. 우리는 근거를 확인하는 대신 기분을 확인하게 됩니다.

우리는 왜 AI 요약을 믿게 되나요?

이건 검증된 4대 원인이 아니라, 요약에 기대는 순간을 돌아보며 반복해서 발견한 네 가지 힘입니다. 첫째 피로 — 성인의 문서는 이해보다 판단을 요구하고, 판단은 곧 책임이라 읽기 전부터 피곤합니다. 둘째 속도에 대한 강박 — 빨리 처리하는 사람이 유능해 보이는 시대라 속도가 성취감처럼 느껴집니다. 셋째 책임을 미루고 싶은 마음 — "AI가 그렇게 말했으니까"는 아주 편하고 아주 위험합니다. 넷째 읽은 느낌이 주는 안도감입니다. 여기에는 심리학이 이름 붙인 기제도 관련될 수 있습니다. 쉽게 처리되는 정보를 더 참으로 여기는 처리 유창성(Reber & Schwarz, 1999), 자동화된 시스템의 답을 경계 없이 받아들이는 자동화 편향(Mosier & Skitka, 1996)입니다. 다만 AI 요약 신뢰의 직접 원인으로 단정할 수는 없습니다.

그럴듯한 답변에서 보통 빠져 있는 것은 무엇인가요?

다섯 가지 질문입니다. 언제부터인가(기한), 누구에게 적용되는가(범위), 어떤 경우는 다른가(예외), 무엇을 해야 하는가(절차), 안 하면 어떻게 되는가(불이익). 이 다섯이 빠지면 답은 오히려 더 그럴듯해집니다. 조건이 사라진 말은 매끈하고 덜 불편하기 때문입니다. 우리가 크게 데는 순간은 대개 이 질문들이 빠져 있을 때입니다.

AI 요약을 안전하게 쓰는 방법이 있나요?

요약을 맡기기 전에 한 문장을 먼저 적으세요. "내가 지금 확인하려는 것은 무엇인가?" 환불 조건인지, 자동 갱신인지, 예외 조항인지, 기한인지를 먼저 정하는 것입니다. 그 질문을 적고 나서 AI를 켜면 AI는 요약기가 아니라 탐지기가 되기 시작합니다. 즉 "요약해줘" 대신 "이 문서에서 내 결론을 뒤집을 수 있는 조항을 전부 찾아줘"라고 묻는 것입니다.

그럴듯함과 신뢰는 어떻게 다른가요?

그럴듯함은 정리된 느낌이고 신뢰는 근거에서 나옵니다. 그럴듯함은 세 가지 방식으로 작동합니다. 정리된 느낌을 줘서 "이제 끝났다"고 착각하게 만들고, 확신의 톤을 빌려와 자신감을 근거처럼 보이게 하고, 책임을 나눠 갖는 느낌을 줍니다. 하지만 "AI가 그렇게 말했다"는 사실이 내 선택의 결과를 대신 감당해주지는 않습니다. 카드에서 빠져나가는 돈도 계약서에 찍힌 서명도 결국 내 이름으로 남습니다.

근거 문장을 받으면 충분한가요?

충분하지 않습니다. AI는 없는 문장을 지어내 인용하거나, 원문 한 줄을 문맥에서 떼어 오거나, 엉뚱한 문장을 근거로 잘못 연결하기도 합니다. 그래서 근거 문장을 원문 그대로 요구하고, 그것이 원문 어디(조항·문단)에 있는지 위치를 받아, 실제 원문과 직접 대조하고, 그 문장이 정말 결론을 떠받치는지 확인해야 합니다. 근거를 요구하는 것만으로는 부족하고, 근거와 답 사이를 직접 확인해야 합니다.

AI를 아예 쓰지 말아야 하나요?

그럴 필요도 없고 가능하지도 않습니다. 질문을 바꿔야 합니다. "AI를 쓸 것인가"가 아니라 "AI를 어떤 관계로 둘 것인가"입니다. AI를 대리 독자로 둘 것인가, 내 판단을 돕는 조력자로 둘 것인가. AI 시대의 준비는 기술이 아니라 습관입니다. 요약을 믿는 습관이 아니라 근거를 요구하고 원문과 대조하는 습관입니다.