Insight

크롤링 차단 시대, AI 기업은 데이터를 어디서 구하나

2026.10.14

크롤링 차단 시대, AI 기업은 데이터를 어디서 구하나

AI 모델을 만드는 기업에게 웹은 중요한 데이터 확보 경로였습니다. 공개된 페이지를 수집하고 정제해 학습에 활용하거나, 최신 정보를 검색해 서비스에 연결하는 방식을 이용해 왔습니다.

하지만 공개된 페이지라고 해서 언제나 수집할 수 있고, 원하는 용도로 이용할 수 있는 것은 아닙니다. 그리고 이제 이러한 '제한'이 점차 확대되고 있습니다. 사이트 운영자 측에서는 AI 크롤러의 접근을 제한하거나 이용 목적에 따라 다른 조건을 설정하는 방식을 도입하고 있고, 법정에서는 AI 학습과 데이터 확보 과정의 적법성을 둘러싼 판단도 이어지고 있습니다.

그러다 보니 AI 기업이 검토해야 할 질문도 달라지고 있습니다. "얼마나 많이 수집할 수 있는가"에 더해 "어떤 조건으로 확보하고, 어디까지 이용하며, 얼마나 안정적으로 공급받을 수 있는가"를 함께 살펴봐야 합니다.

클라우드플레어가 AI 트래픽을 구분하기 시작했습니다

클라우드플레어는 2026년 7월, AI 트래픽을 검색(Search), 에이전트(Agent), 학습(Training)으로 나눠 각각 관리하는 기능을 발표했습니다. 당시 공식 안내에는 9월 15일부터 신규 도메인의 광고 페이지에서 학습·에이전트 봇을 기본 차단하고, 검색은 허용한다는 계획이 담겼습니다.

이어 9월 15일에는 검색 노출을 유지하면서 콘텐츠의 학습 이용을 거부할 수 있는 'Disallow AI Training' 기능이 도입됐습니다. 검색과 학습을 함께 수행하는 크롤러에도 사업자별 메커니즘을 통해 학습 이용 거부 의사를 전달하는 방식이며, 클라우드플레어는 애플·구글·마이크로소프트가 이를 존중하기로 했다고 밝혔습니다.

이 구분은 중요합니다. 크롤러의 접근을 기술적으로 막는 것과, 접근한 콘텐츠를 학습에 사용하지 말라고 알리는 것은 서로 다른 조치이기 때문입니다.

신규 도메인에는 사이트의 수익 구조에 따른 권장 설정도 제시됩니다. 광고 기반 사이트라면 학습 이용을 거부하고 광고 페이지에서 에이전트를 차단하도록 설정할 수 있습니다. 다만 사이트 운영자는 이러한 설정을 언제든 변경할 수 있으므로, 모든 웹사이트와 AI 크롤러에 동일한 제한이 적용된다고 볼 수는 없습니다.

광고를 기준으로 삼는 배경에는 콘텐츠 제공자의 수익 문제가 있습니다. AI가 페이지를 읽고 답변을 제공해도 사람이 원본 사이트를 방문하지 않으면 광고 수익으로 이어지기 어렵다는 것입니다.

차단과 함께 거래 방식도 바뀌고 있습니다

클라우드플레어의 방향은 접근 제한에만 머물지 않습니다. 2025년에는 크롤러 접근에 비용을 부과하는 Pay Per Crawl을 발표했고, 2026년 9월에는 콘텐츠가 실제로 이용될 때 대가를 지급하는 Pay Per Use를 베타로 선보였습니다.

Pay Per Use에서는 참여 AI 기업이 어떤 이용에 얼마를 지급할지 제안하고, 콘텐츠 제공자가 참여 여부를 선택하게 됩니다. 이용의 정의와 가격도 참여 기업의 제안에 따라 달라질 수 있습니다. 따라서 모든 크롤링에 자동으로 과금되는 보편적인 제도가 도입됐다고 볼 수는 없습니다.

그럼에도 불구하고 이러한 변화는 AI 기업의 데이터 확보 계획에 영향을 줍니다. 출처마다 접근 설정과 이용 조건이 달라지면 수집 가능 여부뿐 아니라, 계약·결제 조건과 공급의 지속성까지 관리해야 하기 때문입니다.

다만 사이트의 접근 설정과 저작권상 이용 허락은 별도로 확인해야 합니다. 페이지에 접근할 수 있다는 사실만으로 학습이나 서비스 활용 권한까지 확보되는 것은 아닙니다.

법정에서도 학습과 확보 경로를 구분합니다

미국에서는 AI 학습에 저작물을 이용하는 것이 공정이용에 해당하는지를 두고 여러 소송이 진행 중입니다.

2026년 9월, 미국 법무부는 뉴욕타임스 등이 OpenAI와 마이크로소프트를 상대로 제기한 소송에 의견서를 제출해 문제 된 AI 학습의 공정이용 주장을 지지했습니다. 이는 정부의 의견일 뿐 법원을 구속하지 않으며, 법원의 판단은 아직 나오지 않았습니다.

데이터 확보 경로를 별도로 살펴본 사례도 있습니다. 2025년 6월 23일 미국 연방지방법원의 Bartz v. Anthropic 결정은 해당 사건에서 문제 된 도서의 모델 학습 이용을 공정이용으로 판단하면서도, 불법 복제 도서를 내려받아 영구적인 중앙 라이브러리를 구축한 행위에는 별도의 판단을 내렸습니다.

이 결정이 모든 AI 학습을 허용한다는 의미는 아닙니다. 특정 사건의 사실관계를 바탕으로 한 판단이며, 학습 목적의 이용과 자료를 확보·보관하는 행위는 구분해 검토할 필요가 있다는 점을 보여줍니다.

국내에서도 문화체육관광부가 2026년 2월 공정이용 안내서를 발간했습니다. 안내서는 상업적 목적이나 자동화된 웹 크롤링이라는 이유만으로 공정이용에서 배제하지 않고, 이용 목적과 성격, 저작물의 종류, 이용 비중, 시장에 미치는 영향을 종합해 판단한다고 설명합니다.

결국 AI 기업은 접근 가능 여부와 함께 수집·보관·학습·서비스 제공 단계별 이용 조건을 확인해야 합니다.

AI 기업이 선택할 수 있는 세 가지 확보 방식

기업이 외부 데이터를 확보하는 대표적인 방식은 직접 수집, 콘텐츠 보유자와의 계약, 데이터 공급사 활용입니다. 아래 비교는 개별 서비스의 보장 사항이 아닌, 확보 방식을 선택할 때 살펴볼 일반적인 항목입니다.

방식	장점	고려할 점
직접 크롤링	수집 대상과 시점을 직접 설계하고 소규모로 시작할 수 있음	접근 제한, 출처별 이용 조건, 수집·정제·유지보수 비용
콘텐츠 보유자와 개별 라이선스 계약	필요한 이용 범위를 계약으로 정할 수 있음	계약 상대방의 권한, 출처별 협상, 계약 관리에 드는 시간과 비용
데이터 공급사 활용	공급사가 확보한 권리와 제공 범위 안에서 여러 출처를 통합 구매하고 정제된 형태로 받을 수 있음	공급 범위, 권리 확보 근거, 갱신 주기, 학습·서비스 이용 조건

데이터의 종류와 개발 목적에 따라 여러 방식을 조합할 수도 있습니다. 공개 문서와 오픈 라이선스 자료는 해당 조건을 확인해 직접 수집하고, 특정 분야의 핵심 데이터는 개별 계약이나 공급사를 통해 확보하는 방식입니다.

개별 라이선스 계약에는 현실적인 한계도 있습니다. 클라우드플레어에 따르면 2023년 이후 언론사와 AI 기업 간 계약은 50건 넘게 체결됐지만, 거의 대부분이 대형 언론사와 대형 AI 기업이 일대일로 맺은 맞춤형 계약입니다. 웹의 대다수 콘텐츠와 대부분의 데이터 수요 기업에는 아직 닿지 못하고 있다는 뜻입니다.

수많은 출처와 직접 협상하고 데이터를 정제하기 어려운 기업이라면 통합 공급 방식이 선택지가 될 수 있습니다. 이때도 구매한 데이터의 이용 범위와 공급사의 권한을 계약에서 확인하는 과정은 필요합니다.

실시간 데이터가 필요하다면 무엇을 확인해야 할까?

학습용 데이터를 한 번 확보하는 것과 서비스에 최신 정보를 계속 공급하는 것은 다른 과제입니다. 클라우드플레어는 AI 기업이 필요로 하지만 차단이나 유료화로 접근이 어려워진 콘텐츠로 뉴스, 연구 자료, 전문 업계지를 꼽으며, 이들이 가장 빠르게 바뀌는 콘텐츠라고 설명합니다.

RAG나 AI 에이전트처럼 최신성이 중요한 서비스를 운영하고 있다면, 다음 항목을 함께 검토해 보세요.

출처와 권한: 데이터가 어디서 왔으며, 공급사가 해당 이용을 허락할 권한을 갖고 있는가?
이용 범위: 모델 학습, 검색, 답변 생성, 요약, 원문 표시 등 필요한 활용이 계약에 포함돼 있는가?
갱신 방식: 신규·변경 데이터를 어떤 주기로 받을 수 있으며, 수정·삭제는 어떻게 반영되는가?
공급 안정성: 공급 지연이나 중단 시 대응 기준과 통지 절차가 마련돼 있는가?
데이터 형태: 메타데이터와 형식이 정리돼 있으며, 서비스 연동에 필요한 품질을 갖췄는가?

직접 크롤링을 선택하더라도 같은 질문이 필요합니다. 접근 제한이 생겼을 때의 대체 출처, 수집 실패를 감지하는 방식, 이용 조건 변경을 확인하는 절차까지 계획하면 데이터 확보의 불확실성을 줄일 수 있습니다.

데이터를 확보하는 방식도 경쟁력이 됩니다

AI 개발에서는 데이터의 양뿐 아니라 확보 방식도 중요합니다. 출처와 이용 범위를 설명할 수 있고, 필요한 품질의 데이터를 적시에 공급받을 수 있다면 개발과 운영 계획을 세우기도 수월해집니다.

비큐AI의 RDPLINE은 라이선스를 확보한 콘텐츠를 기반으로 뉴스·금융·논문처럼 빠르게 바뀌는 데이터를 실시간 파이프라인으로 공급하고, AI 학습용 데이터셋도 함께 제공합니다. 필요한 데이터의 종류와 기간, 공급 방식뿐 아니라 학습·서비스 활용에 필요한 이용 조건도 함께 검토할 수 있습니다.

직접 수집과 계약 기반 공급 중 어떤 방식을 선택할지는 데이터의 특성과 기업의 운영 역량에 따라 달라집니다. 우리 서비스에 필요한 데이터를 먼저 정의한 뒤, 확보 비용과 이용 권한, 갱신 방식과 공급 안정성을 함께 비교해 보세요.

데이터 도입을 검토하고 있다면 RDPLINE 데이터 견적 문의를 남겨주세요. 필요한 데이터의 종류와 기간, 공급 방식에 맞춰 안내해 드릴게요.

참고자료

클라우드플레어, New options to manage AI traffic (2026.7.1)
클라우드플레어, The Internet has a second audience (2026.9.30)
클라우드플레어, Introducing pay per crawl (2025)
클라우드플레어, Pay Per Use: when AI uses your work, you should get paid (2026.9.30)
미국 캘리포니아 북부 연방지방법원, Bartz v. Anthropic 결정문 (2025.6.23)

※ 이 글은 2026년 10월 14일 기준 공개 자료를 바탕으로 작성한 일반 정보이며, 법률 자문이 아닙니다. 개별 데이터 수집·이용의 적법성은 적용 법령과 구체적인 사실관계에 따라 판단해야 합니다.

PreviousNext

Back to list