열려 있던 웹이 로그인 뒤로 숨는다

검색창에 궁금한 걸 넣고, 제일 그럴듯한 링크를 눌렀는데, 글 대신 로그인 창이 뜬다. 방금 전까지 검색 결과 미리보기엔 본문 일부가 멀쩡히 보였는데, 막상 들어가니 "계속하려면 로그인하세요"가 화면을 덮는다. 읽고 싶었던 문장은 흐릿하게 뒤에 깔려 있고, 계정을 만들라는 버튼만 선명하다. 잠깐 정보 하나 확인하려던 사람에게, 웹은 점점 이런 표정을 짓는다. 예전엔 주소만 알면 누구나 들어가던 공간이, 이제는 먼저 신분증부터 내밀라고 한다.

병원 후기 하나 읽으려는데 회원가입 창이 뜬다

제일 자주 부딪히는 담장은 거창한 데 있지 않다. 다니려는 병원의 후기를 검색하면 어김없이 지역 맘카페 글이 잡히는데, 눌러 보면 카페 가입 후 등업해야 열람할 수 있다고 한다. 가입 인사를 쓰고, 출석 도장을 찍고, 등업 신청 양식을 채워야 남이 쓴 후기 한 편을 읽을 수 있다. 이직하려는 회사의 실제 분위기가 궁금하면 직장인 커뮤니티나 기업 리뷰 사이트로 가야 하는데, 한쪽은 재직자 이메일 인증을 요구하고 한쪽은 내 리뷰를 먼저 써내야 남의 리뷰를 보여 준다. 인스타그램은 몇 장 넘기면 로그인 창이 화면을 덮고, 링크드인은 프로필 몇 개만 봐도 가입을 조른다. 필요한 이야기일수록 담장 안에 있고, 담장은 신분증 아니면 품앗이를 요구한다.

얄미운 건 이 담장들이 검색에는 걸리도록 문을 빼꼼 열어 둔다는 점이다. 미리보기 몇 줄로 사람을 끌어들이고, 클릭한 다음에야 가입 창을 내민다. 정보가 있다는 사실은 보여 주되 정보 자체는 안 보여 주는 설계다. 다들 한 번쯤 겪어서 아는 풍경이지만, 알고 있다는 것과 아쉽지 않다는 건 다른 얘기다.

담장은 바다 건너서 더 빨리 올라간다

바다 건너서는 이 담장이 아예 공식 정책이 되는 중이다. 미국의 거대 커뮤니티 레딧(Reddit), 한국으로 치면 온갖 주제의 카페와 갤러리를 한 지붕에 모아 둔 것쯤 되는 사이트인데, 최근 운영진이 예전 인터페이스마저 로그인 없이는 못 보게 하겠다고 공지했다. 명분은 무단 스크래핑과 봇 차단이다. 모든 요청에 계정을 붙이면 규칙을 어기는 쪽을 걸러내기 쉽다는 논리인데, CEO가 작년에 쓰는 사람이 있는 한 유지하겠다고 말했던 화면이라 오래 쓴 이용자들은 이 변경을 고전 화면을 서서히 끄는 첫 스위치로 읽고 반발했다. 나도 이미 그 담장 밖에 서 봤다. 얼마 전 블로그 글감을 조사하면서 레딧 공개 API를 두드렸다가 403 오류만 돌려받았다. 로그인 벽이 공식화되기 전부터 담장은 반쯤 올라가 있었던 셈이다.

X도 로그인하지 않으면 글을 제대로 못 보게 조여 왔다고 보도됐다. 원인을 거슬러 올라가면 AI가 있다. 모델이 웹을 통째로 학습하면서 공개된 글이 곧 남의 모델 재료가 되는 시대가 됐고, 구글이 레딧 데이터 라이선스에 연 6,000만 달러를 낸다는 보도까지 나왔다. 공짜로 긁혀 가던 글에 가격표가 붙은 것이다.

방어 도구도 같이 진화했다. 클라우드플레어는 2024년 7월, 무료 요금제까지 포함한 전 고객에게 버튼 한 번으로 AI 봇을 막는 기능을 열었다. 그때 공개된 수치를 보면 상위 100만 개 사이트의 약 39%에 AI 봇이 드나들었지만 차단 조치를 한 곳은 2.98%뿐이었다. 이후 담장은 기본값이 됐다. 2025년 여름 기준 250만 개가 넘는 사이트가 AI 학습을 전면 거부했고, 신규 도메인에는 AI 크롤러 차단이 아예 기본으로 깔린다. 한 걸음 더 나간 게 Pay-Per-Crawl이다. 크롤러가 오면 돈을 내야 지나갈 수 있다는 응답(HTTP 402)을 돌려주는 유료 관문이다. 웹 페이지가 열린 페이지, 막힌 페이지, 돈 내는 페이지 셋으로 갈라지기 시작했다. 사이트 입장에선 계산이 어렵지 않다. 크롤러는 글을 실컷 가져가면서 방문자는 거의 돌려보내지 않으니, 문을 열어둘 이유가 하나씩 사라진다.

문이 닫힐 때 같이 사라지는 것들

문제는 담장이 나쁜 손님만 막지 않는다는 데 있다. 로그인 벽 앞에서는 무단 크롤러와 그냥 지나가던 독자가 같은 취급을 받는다. 친구에게 보낸 링크를 생각해 보자. 내 화면에서는 멀쩡히 열리던 글이 상대방 화면에서는 로그인 창으로 바뀐다. 검색에는 걸리라고 미리보기는 열어 두고 본문만 잠그는 방식이라, 클릭한 쪽엔 낚였다는 기분까지 얹힌다. 더 조용히 사라지는 것도 있다. 검색엔진이 긁지 못한 페이지는 아카이브에도 남지 않아서, 몇 년 뒤엔 그런 글이 있었다는 사실을 증명할 길부터 없어진다. 그리고 우연. 링크를 타고 타고 낯선 커뮤니티까지 흘러가 계획에 없던 좋은 글을 만나는 경험은 열린 문과 문 사이에서만 일어난다. 담장은 그 우연부터 지운다.

방어라는 명분과, 그래도 남는 아쉬움

플랫폼 편을 들 여지가 없는 건 아니다. 스팸 봇과 무단 학습이 실제로 서버를 갉아먹고 애써 모은 콘텐츠를 공짜로 실어 나른다면, 자물쇠는 합리적인 방어다. 효과도 확인되고 있다. Stack Overflow가 Pay-Per-Crawl을 초기 테스트했을 때 무단 봇 트래픽이 약 32% 줄고 라이선스 수익은 약 27% 늘었다고 한다. 공짜로 열어둔 대가가 착취라면 누구라도 자물쇠를 산다.

나도 담장 사이에서 산다. 이 블로그를 여러 채널에 발행하는 작업을 자동화하다가 네이버 앞에서 겹겹의 담을 만났다. 공식 글쓰기 API는 막혀 있고, 내가 쓰는 브라우저 자동화 도구는 안전 정책상 네이버 도메인 전체를 아예 밟지 않는다. 편집기 버튼 설명을 공식 도움말에서 확인하는 일조차 본문만 추출해 주는 우회 리더(r.jina.ai)를 거쳐야 했다. 잘못한 것도 없는데 우회로부터 찾는 게, 닫힌 웹에서 뭔가 해 보려는 사람의 기본자세가 됐다.

그래서 아쉬움이 남는다. 자물쇠는 손님을 골라 막지 못한다. 크롤러를 막으려고 세운 벽에 그냥 읽고 싶었던 사람이 먼저 부딪힌다. 병원 후기 한 편을 읽으려고 가입 인사와 등업 신청서를 쓰는 저녁이, 우리가 이미 살고 있는 닫힌 웹의 미리보기다. 웹이 처음 매력적이었던 건 누구든 계정 없이 문을 밀고 들어올 수 있어서였고, 열려 있다는 건 공짜라는 뜻이 아니라 허락을 구하지 않고도 지식에 닿을 수 있다는 약속에 가까웠다.

이 이야기의 결말이 어디로 향하는지 보여주는 장면은 이미 나왔다. AI 봇 차단을 앞장서 팔던 클라우드플레어가 올해 3월 자체 크롤링 API를 내놓으며 스스로 스크래핑 사업자가 됐다. 담을 쌓아 주던 회사가, 담 너머를 대신 다녀와 주는 유료 서비스를 파는 것이다. 나는 여기서 웹의 다음 모습을 본다. 누구나 걷던 길이 통행료 받는 전용 도로로 바뀌는 중이고, 그 요금소 앞에 제일 오래 서 있게 될 쪽은 봇이 아니라 그냥 지나가던 우리다.

참고: 레딧, old.reddit 익명 열람 종료 (Digital Trends) · AI 봇 원클릭 차단 (Cloudflare) · 닫혀 가는 웹 2026 (Coronium)