구글 검색을 AI 모드로 바꾸자 검색 100번당 외부 사이트 클릭이 18.8회 줄었습니다 — 1,100명 무작위 실험, AI 개요만의 효과는 아직 확정되지 않았습니다

핵심 요약

먼저 알아 둘 용어

• AI 개요(AI Overviews)는 일반 검색 결과 위나 중간에 붙는 AI 요약입니다. 그 아래에 기존의 파란 링크 목록이 그대로 있습니다. 이 실험의 기준 기간에는 참가자 검색의 36%에 AI 개요가 떴습니다.
• AI 모드(AI Mode)는 링크 목록 대신 대화형 AI 답변을 보여 주는 별도 검색 화면입니다. 한국어는 2025-09-08부터 제공됩니다(Google 공식 블로그). 실험 전 참가자들은 검색의 0.6%에서만 AI 모드를 썼습니다.
• 클릭률은 이 논문에서 "구글에서 외부 사이트로 나간 클릭 수 ÷ 구글 검색 수"입니다. 비율이라 %p(퍼센트포인트)로 쓰지만, 검색 1번에 여러 번 클릭할 수 있고 참가자마다 따로 계산한 값이므로 "평균적인 참가자의 검색 100번당 외부 클릭 몇 회"로 읽는 것이 정확합니다. 이 글의 "검색 100번당" 표현은 모두 이 뜻입니다. AI 모드에서는 후속 질문 하나하나를 검색 한 번으로 셉니다.
• ITT(intent-to-treat)는 무작위로 배정된 집단을 그대로 비교한 효과입니다. 조치가 실제로 적용됐는지와 관계없이 무작위로 배정된 집단끼리 비교하므로 추가 가정이 가장 적습니다. LATE(local average treatment effect)는 무작위 배정을 도구로 삼아, 조치가 실제로 적용된 정도에 따른 효과를 따로 추정한 값입니다(이 논문은 2단계 최소제곱법, 2SLS를 썼습니다). "제대로 적용됐다면"의 효과에 가깝지만, 배정이 조치를 거쳐서만 결과에 영향을 줬다는 추가 가정에 의존합니다. 적용률이 낮을수록 ITT와의 차이가 커집니다.
• 표준편차 단위는 설문 점수 변화를 응답의 표준편차로 나눈 값입니다. 5점·7점 척도를 한 기준으로 비교하려고 씁니다. 0.2 안팎이면 작은 변화, 0.8 안팎이면 큰 변화로 읽는 것이 사회과학의 관례입니다.

실험 설계 — 누구를, 어떻게, 얼마 동안

저자는 펜실베이니아대·노스이스턴대 연구진 다섯 명이고, 가설·표본 크기·분석 방법을 실험 전에 공개 등록했습니다(사전 등록). 참가자는 크롬에 연구용 확장 프로그램을 설치했고, 확장 프로그램이 검색 화면을 바꾸면서 검색·클릭·체류 시간을 기록했습니다.

세 집단의 기본 특성은 고르게 나뉘었고, 중도 이탈률도 집단 간 차이가 유의하지 않았다고 저자는 보고합니다(AI 모드 집단의 설문 미완료 36.6% 대 다른 집단 32.3~32.5%, p=0.292). 이 점이 AI 모드 결과를 인과 효과로 읽을 수 있는 근거입니다.

AI 모드로 바꾸자 — 클릭, 검색 습관, 만족도가 함께 움직였습니다

AI 모드 집단에서는 검색의 94.7%가 실제로 AI 모드에서 처리됐습니다. 조치가 거의 그대로 적용됐으므로 아래는 무작위 배정 기준(ITT) 값입니다. 비교 대상은 아무것도 바꾸지 않은 "현재 검색" 집단입니다.

이 숫자는 다음 조건과 함께 읽어야 합니다.

• 검색 100번당 18.8회라는 감소 폭의 일부는 검색을 세는 방식에서 비롯됩니다. AI 모드의 후속 질문을 모두 검색으로 세면 분모가 커집니다. 저자의 강건성 점검에서 대화 하나를 검색 하나로 세자 감소 폭이 −14.9회로 줄었습니다. 둘 다 유의하지만, 보도에서 주로 인용되는 쪽은 큰 값입니다.
• 하루 외부 클릭 −2.27회는 상대적으로 큰 변화입니다. 전체 참가자의 기준 기간 평균이 하루 4.1회였으므로 대략 절반 규모입니다. 다만 이것은 이 글이 계산한 파생값이고, 실험 기간 대조군의 평균과 비교한 값이 아닙니다.
• 광고 −42.7%p는 사이트 유입과 성격이 다릅니다. 실험 당시 AI 모드에는 광고가 아예 나오지 않았습니다. 저자도 이 결과를 "수익화 이전의 초기 모습"이라고 적었습니다.
• 검색 자체도 줄었습니다. 구글은 AI 기능이 검색을 늘린다고 말해 왔고 저자도 그 방향(세션 증가)을 가설로 등록했지만, 결과는 하루 0.92세션 감소였습니다. 평소 하루 4세션 넘게 검색하던 사람에게서 감소가 더 컸습니다(−2.01세션).

설문 결과도 같은 방향입니다. AI 모드 집단은 구글에서 찾은 정보에 대한 신뢰가 7점 척도에서 0.34점 낮았습니다. 나머지 설문 항목은 표준편차 단위로 유용성 0.59, 만족도 0.73, 통제감(agency) 0.66, 개인화·관련성 0.42만큼 낮았습니다. 저자들이 가설로 둔 "개인화·관련성은 높아질 것"과 반대 결과입니다. 미리 고른 뉴스 검색어 10개 중 3개를 무작위로 골라 AI 모드 답변과 일반 검색 결과를 나란히 보여 주고 고르게 한 비교에서는 집단 간 차이가 유의하지 않았습니다.

AI 모드 집단 309명의 자유 응답에서는 부정 33.6%, 긍정 29.3%, 혼합 13.7%였습니다. 부정 쪽 이유로는 통제감 상실(17.6%), 특정 사이트로 바로 가기 어려움(15.3%), 링크·출처가 적거나 다양하지 않음(13.4%)이 많았고, 긍정 쪽은 시간 절약(14.0%)이 가장 많았습니다. 한 참가자는 "웹페이지에 가려고 주소를 쳤는데 그 웹사이트에 대한 설명을 해 줬다"고 적었습니다.

AI 개요를 숨기자 — 숫자는 커 보이지만 확정되지 않았습니다

사이트 운영자에게 더 현실적인 질문은 AI 모드가 아니라 AI 개요입니다. 지금 검색의 상당 부분에 이미 붙어 있기 때문입니다. 이 실험의 "AI 없음" 집단이 그 질문에 답하도록 설계됐지만, 실험 도중 문제가 생겼습니다.

그래서 같은 질문에 대한 답이 두 개입니다.

논문 초록과 결론이 쓰는 "AI 개요를 없애면 외부 클릭률이 8.8%p 오른다"는 LATE 값입니다. LATE는 "숨기기 조치는 AI 개요를 가리는 것 말고는 아무 영향도 주지 않았다"는 가정에 기댑니다. 저자는 한계 절에서 "구글의 화면 변경이 참가자 경험을 더 넓게 바꿨다면 이 가정은 성립하지 않을 수 있다"고 직접 적었습니다. 또 부록에 따르면 이 추정은 사전 등록과 다르게 진행됐습니다. 등록 당시에는 "검색의 90% 이상에 조치가 적용된 사람"을 적용 대상으로 정했지만, 숨기기 조치가 작동하지 않게 되자 사람마다 가려진 비율을 연속값으로 쓰는 방식으로 바꿨고, LATE를 추정하는 방법(2SLS) 자체도 사전 등록에 없었다고 저자가 밝혔습니다. 뉴스 클릭 증가도 다른 뉴스 사이트 분류(Topics API)를 쓰거나 하루 클릭 수로 바꾸면 유의하지 않았습니다.

정리하면, AI 개요가 클릭을 줄이는 방향이라는 데는 이 실험과 다른 연구가 일치합니다. Pew 리서치센터의 관찰 연구(2025-07)는 AI 요약이 뜬 검색 페이지에서 결과 링크를 클릭한 비율이 8%, 뜨지 않은 페이지에서 15%였다고 보고했습니다. 다만 Pew의 값은 AI 요약이 뜨는 검색과 뜨지 않는 검색이 애초에 다를 수 있는 관찰 비교이고, 이번 실험의 무작위 비교는 조치가 작동하지 않게 되면서 크기를 확정하지 못했습니다. "AI 개요가 클릭을 몇 % 줄인다"는 숫자는 아직 어느 쪽에서도 단단하지 않습니다.

구글의 설명과 왜 다른가 — 측정 단위가 다릅니다

구글 검색 책임자 리즈 리드(Liz Reid)는 2025-08-06 공식 블로그에서 "구글 검색에서 웹사이트로 가는 전체 자연 클릭량은 전년 대비 비교적 안정적"이고 "빨리 되돌아오지 않는 질 좋은 클릭은 조금 늘었다"고 적었습니다. 검색 센터 문서(2025-12-10 갱신)도 "AI 개요가 있는 결과 페이지에서 나온 클릭은 사용자가 사이트에 더 오래 머무는 질 높은 클릭"이라고 설명합니다.

이 주장과 실험 결과는 직접 비교할 수 없습니다. 구글의 값은 전체 검색량이 늘어나는 동안의 총 클릭량이고, 실험은 같은 사람의 검색 1회당 클릭을 무작위 집단끼리 비교한 값입니다. 검색량이 늘면 검색당 클릭이 줄어도 총량은 유지될 수 있습니다. 반대로 구글의 집계는 외부에서 검증할 수 없고, 실험은 미국 표본 1,100명의 7일입니다. 어느 한쪽이 틀렸다고 말할 근거는 이 자료들 안에 없습니다.

한국 사이트 운영자에게 — 무엇을 가져가고 무엇을 가져가지 말 것인가

이 블로그의 독자인 개발자·1인 스튜디오·소규모 팀의 사이트는 대개 정보성 검색어로 유입됩니다. 이 실험에서 가져갈 수 있는 것과 없는 것을 나눠 둡니다.

측정에 대해 한 가지 알아 둘 것이 있습니다. 구글 검색 센터 문서는 AI 개요와 AI 모드에서 온 트래픽을 Search Console 실적 보고서의 "웹" 검색 유형 안에 함께 집계한다고 적고 있습니다. 즉 Search Console만으로는 AI 기능 때문에 클릭이 줄었는지를 따로 분리할 수 없습니다. 노출은 그대로인데 클릭률이 떨어진 검색어가 보이면, 그 검색어로 구글을 직접 검색해 AI 개요가 뜨는지 확인하는 수밖에 없습니다.

AI 기능에 내 콘텐츠가 덜 쓰이게 하는 방법도 문서에 있습니다. nosnippet, data-nosnippet, max-snippet, noindex를 쓰면 AI 기능을 포함한 검색 전체에서 보이는 정보가 줄어듭니다. 일반 검색 결과의 스니펫도 함께 줄어들기 때문에, 유입을 지키려고 쓰면 오히려 노출이 줄 수 있습니다. 이 실험은 이런 설정의 효과를 측정하지 않았습니다.

체크리스트

아직 결론이 아닌 것

• 표본이 미국의 특정 층입니다. 저자 스스로 "더 젊고, 학력이 높고, 진보 성향"이라고 적었고, 대표성 있는 표본에서는 효과의 크기나 방향이 다를 수 있다고 밝혔습니다. 한국 사용자는 포함되지 않았습니다.
• 7일간의 단기 효과입니다. 저자는 장기 적응으로 효과가 줄거나 새 효과가 생길 수 있다고 적었습니다. 자유 응답에도 "처음엔 낯설었지만 금방 익숙해졌다"(3.6%)가 있었습니다.
• AI 모드는 강제된 전면 사용 조건입니다. 평소 사용률 0.6%인 기능을 모든 검색에 적용했습니다. 저자는 사용자가 스스로 조금씩 AI 모드로 옮겨 가는 실제 상황의 효과는 다를 수 있다고 적었습니다.
• AI 개요 효과는 숨기기 조치가 작동하지 않게 되면서 크기를 확정하지 못했습니다. LATE 추정은 숨기기 조치가 AI 개요를 가리는 것 말고는 영향이 없었다는 가정에 기대고, 적용률의 정의와 추정 방법이 사전 등록과 달라졌습니다.
• 광고가 없던 시점의 AI 모드입니다. 구글이 AI 모드에 광고나 다른 수익화 장치를 넣으면 클릭과 만족도가 달라질 수 있다고 저자가 적었습니다.
• 작은 효과는 잡지 못했습니다. 저자는 보조 지표에서 작은 효과를 검출할 표본 크기가 아니었으므로, 유의하지 않은 결과를 "효과 없음"으로 읽지 말라고 적었습니다. 건강·법률·금융처럼 위험이 큰 검색은 따로 보지 않았습니다.
• 동료 심사 전 논문입니다. 2026-08-18 arXiv에 올라온 판(v1)을 읽었고, 학술지 게재 여부는 확인하지 못했습니다.

참고자료

모두 2026-10-06에 원문을 받아 대조했습니다.

논문이 개정되거나 학술지에 실리면서 수치가 바뀌면 이 글을 고치고 개정 날짜를 적겠습니다.