기업을 위한 웹 스크래핑 합법성 가이드

공개 데이터와 비공개 데이터: 웹 스크래핑 합법성의 출발점

웹 스크래핑에서 가장 명확한 기준은 공개 데이터와 비공개 데이터를 구분하는 것입니다. 로그인 없이 누구나 볼 수 있는 상품 목록, 사업자 디렉터리, 부동산 매물, 뉴스 기사 등은 일반적으로 수집 가능 범위에 속합니다. 한국에서도 공개 웹사이트에 통상적인 방식으로 접속하는 행위 자체가 곧바로 위법한 것은 아닙니다. 다만 정보통신망에 대한 무단 침입이나 접근 통제 우회에 해당하지 않아야 합니다.

비공개 데이터는 다릅니다. 정보에 접근하기 위해 로그인해야 하거나, 유료 구독 장벽을 우회하거나, 다른 사람의 계정을 사용해야 한다면 무단 접근 문제가 발생할 수 있습니다. 한국의 정보통신망 관련 법령은 정당한 접근 권한 없이 정보통신망에 침입하는 행위를 금지합니다. 공개 프로필이나 공개 페이지를 수집하는 것과 인증·접근 통제로 보호된 콘텐츠에 접근하는 것은 법적으로도 실무적으로도 분명히 구별해야 합니다.

사업 목적으로 활용할 때는 로그인 없이 일반 방문자가 확인할 수 있는 데이터만 수집하는 것이 원칙입니다. 프로젝트에 계정 접근이 필요하다면 해당 계정을 직접 보유하거나 계정 소유자의 명시적인 허가를 받아야 합니다.

개인정보와 개인정보 보호법

이름, 이메일 주소, 전화번호, IP 주소, 위치 정보와 같은 개인정보를 수집하면 개인정보 보호법(PIPA)이 적용될 수 있습니다. 개인정보를 처리하려면 적법한 근거가 필요하며, 이용 목적을 투명하게 알리고 정보주체의 권리를 보장해야 합니다. 공개된 정보라고 해서 개인정보 보호 의무가 사라지는 것은 아닙니다.

처리 근거는 특히 중요합니다. 공개 사업자 디렉터리에서 B2B 영업 목적으로 담당자 정보를 수집하려는 경우에도 수집 목적, 필요성, 정보주체의 합리적 기대를 검토해야 합니다. 소비자 프로필, 실명이 포함된 후기 또는 소셜 미디어 활동을 수집한다면 동의, 목적 외 이용 제한, 정보주체 권리 보장 등을 더욱 신중히 검토해야 합니다. 공개된 개인정보도 개인정보 보호법 적용 대상이 될 수 있으므로, 수집 목적과 이용 범위를 명확히 해야 합니다.

실무적으로는 개인정보 수집을 아예 피하는 기업이 많습니다. 이름이 연결된 사용자 후기 대신 종합 평점과 익명화된 텍스트를 수집하고, 명확한 법적 근거와 개인정보 처리방침이 없다면 개인을 식별할 수 있는 소셜 미디어 프로필을 수집하지 않는 방식입니다. 프로젝트에 개인정보가 필요하다면 시작 전에 개인정보 전문 변호사와 상담하는 것이 좋습니다.

이용약관: 계약상 의무와 기술적 접근의 차이

대부분의 웹사이트는 이용약관에서 스크래핑, 자동화된 접근 또는 데이터의 상업적 이용을 금지합니다. 이러한 약관의 법적 효력은 자주 혼동되는 부분입니다. 이용약관 위반이 곧바로 형사상 불법 접근을 의미하는 것은 아닙니다. 특히 누구나 볼 수 있는 공개 페이지를 수집한 경우, 약관 위반만으로 정보통신망 침입이 성립한다고 단정하기는 어렵습니다.

하지만 이용약관은 계약 조건이 될 수 있으며, 이를 위반하면 민사상 책임이 발생할 수 있습니다. 웹사이트 운영자는 내용증명을 보내거나, 수집 중단 또는 데이터 삭제를 요구하고, 손해가 입증되는 경우 계약 위반이나 불법행위를 근거로 법적 조치를 취할 수 있습니다. 실제 손해와 약관 동의 방식, 서비스 이용 형태에 따라 판단은 달라질 수 있습니다.

이용약관을 검토하는 방법

• 이용약관을 읽으세요. 스크래핑을 명시적으로 금지하고 상업 프로젝트를 계획하고 있다면 위험을 검토해야 합니다. 법무 조직이 큰 플랫폼일수록 약관을 적극적으로 집행할 가능성이 높습니다.
• 먼저 API 제공 여부를 확인하세요. 많은 플랫폼이 계약상 불확실성을 줄이면서 구조화된 데이터를 받을 수 있는 공식 API를 제공합니다.
• 서비스와 인프라를 존중하세요. 약관상 스크래핑이 금지되어 있더라도 서비스에 부담을 주지 않는 저빈도 봇은 묵인되는 경우가 있습니다. 실제 분쟁 여부는 수집 규모와 서비스 영향에 따라 달라지는 경우가 많습니다.
• 수집 과정을 기록하세요. 공개 데이터만 수집했고, robots.txt를 따랐으며, 요청 빈도를 합리적으로 유지했다는 기록은 분쟁 발생 시 선의의 조치였음을 보여주는 데 도움이 됩니다.

대형 마켓플레이스 또는 부동산 플랫폼에서 가격 모니터링을 하는 것처럼 판단이 모호한 프로젝트라면 신중히 진행해야 합니다. 법적·기술적 한계를 이해하는 신뢰할 수 있는 스크래핑 서비스를 이용하고, 법적 이의 제기를 받으면 중단할 준비도 필요합니다.

저작권과 데이터베이스 권리

저작권은 텍스트, 이미지, 동영상, 소프트웨어 코드처럼 창작성이 있는 저작물을 보호합니다. 웹사이트를 스크래핑했다고 해서 해당 콘텐츠의 소유권을 얻는 것은 아닙니다. 수집한 기사, 상품 설명, 사진을 허가 없이 재게시하면 저작권 침해 위험이 있습니다. 한국에서도 저작권법에 따라 창작적 표현은 보호되며, 데이터베이스를 구성하기 위해 상당한 투자가 이루어진 경우 데이터베이스 제작자의 권리가 문제 될 수 있습니다.

가격, 주소, 상품 사양 같은 사실 자체는 일반적으로 저작권 보호 대상이 아니지만, 그 정보를 창의적으로 표현하거나 배열한 방식은 보호될 수 있습니다. 원시적인 사실 데이터를 내부 용도로 수집하는 경우, 예를 들어 가격 비교, 시장 조사, 재고 모니터링는 저작권 문제를 일으킬 가능성이 상대적으로 낮습니다. 반면 원본 출처와 직접 경쟁하는 방식으로 데이터를 재게시하면 위험이 커집니다.

저작권 위험을 줄이는 방법

1. 창작적 콘텐츠가 아닌 사실을 추출하세요. 마케팅 문구나 전문 사진 대신 가격, 사양, 재고 여부를 수집합니다.
2. 데이터를 변환하세요. 수집 데이터를 집계, 분석 또는 재구성해 자체 제품에 활용하면 독자적인 부가가치를 만들 수 있습니다.
3. 적절한 경우 출처를 표시하세요. 수집 데이터를 공개적으로 표시한다면 원본 출처로 연결되는 링크를 제공하세요.
4. 대량 재게시를 피하세요. 웹사이트나 데이터베이스 전체를 그대로 복제하는 것은 가장 명확한 침해 위험입니다. 수집 데이터는 원본을 대체하기보다 의사결정에 활용해야 합니다.

비교 사이트, 데이터 집계 서비스, AI 학습 데이터셋처럼 수집한 콘텐츠를 재게시하거나 재배포하는 상업 프로젝트라면 법률 검토에 투자하는 것이 좋습니다.

기술적 영향: 인프라를 존중해야 하는 이유

스크래핑할 법적 여지가 있더라도 기술적인 수행 방식은 중요합니다. 과도한 요청으로 웹사이트에 부하를 주면 서비스 장애를 유발하거나 운영자의 시스템 운영을 방해할 수 있습니다. 웹사이트 다운, 호스팅 비용 증가, 이용자 경험 저하처럼 측정 가능한 피해가 발생하면 손해배상이나 수집 중단 청구의 근거가 될 수 있습니다.

요청 빈도 제한은 예의이자 법적 안전장치입니다. 잘 설계된 스크래퍼는 요청 사이에 대기 시간을 두고, robots.txt 지시를 존중하며, 사용자 에이전트 문자열로 자신을 식별하고, 사이트에서 오류를 반환하면 요청을 줄입니다. 웹사이트의 봇 차단 기술은 이용약관 집행뿐 아니라 인프라 보호를 위해서도 사용됩니다.

robots.txt 자체가 법적 구속력을 갖는 것은 아니지만, 이를 무시하면 분쟁 시 입장이 불리해질 수 있습니다. robots.txt 준수 여부는 선의의 운영을 보여주는 요소로 고려될 수 있으며, 이를 위반하면 접근 제한을 인식하고도 무시했다는 주장에 힘을 실어줄 수 있습니다. 사업 프로젝트에서는 특별한 사유와 법률 자문이 없는 한 스크래퍼가 robots.txt를 따르도록 설정하세요.

실무 준수 체크리스트

모든 스크래핑 프로젝트는 준수 사항 검토로 시작해야 합니다. 다음 체크리스트는 한국 기업이 고려할 주요 법적·기술적 사항을 다룹니다. 법률 자문을 대체할 수는 없지만, 리소스를 투입하기 전에 위험을 식별하는 기준이 됩니다.

시작 전 확인 사항

• 데이터가 공개되어 있는지 확인하세요. 로그인이나 결제 없이 누구나 볼 수 있나요? 그렇다면 다음 검토로 진행하고, 그렇지 않다면 중단하거나 허가를 받으세요.
• 공식 API가 있는지 확인하세요. 많은 플랫폼이 계약상 불확실성을 줄일 수 있는 구조화된 데이터 접근 수단을 제공합니다.
• 이용약관을 읽으세요. 스크래핑, 자동 접근, 상업적 이용에 대한 명시적 금지 조항을 확인합니다. 플랫폼의 대응 이력과 활용 목적을 바탕으로 집행 위험을 검토하세요.
• 개인정보를 식별하세요. 이름, 이메일, 전화번호 또는 기타 식별정보를 수집하나요? 그렇다면 개인정보 보호법상 적법한 처리 근거를 확인하세요.
• 저작권과 데이터베이스 권리를 검토하세요. 창작 콘텐츠인 텍스트·이미지를 추출하는지, 사실 데이터인 가격·사양을 추출하는지 구분하세요. 가능한 한 사실 데이터를 활용하고 독자적 부가가치를 더하는 방안을 계획하세요.

프로젝트 진행 중

• robots.txt를 존중하세요. 이를 무시할 법적 사유가 없다면 스크래퍼가 접근 금지 지시를 따르도록 설정하세요.
• 요청 빈도를 제한하세요. 대상 사이트에 과부하가 걸리지 않도록 요청 간격을 두세요. 소규모 사이트는 초당 1회 요청부터 시작하는 것이 적절한 기준이 될 수 있습니다.
• 명확한 사용자 에이전트를 사용하세요. 설명적인 사용자 에이전트 문자열로 스크래퍼를 식별하고 연락처 정보를 제공하세요.
• 차단과 오류를 모니터링하세요. 403, 429 또는 captcha 응답을 받으면 속도를 낮추거나 중단하세요.
• 데이터를 안전하게 보관하세요. 개인정보를 수집한다면 전송 및 저장 과정에서 암호화하고, 접근 권한을 제한하며, 보유 기간 관련 규정을 준수하세요.

수집 후 확인 사항

• 고지한 목적에 맞게 데이터를 사용하세요. 개인정보는 새로운 적법한 근거 없이 다른 목적으로 활용하지 마세요.
• 필요한 경우 출처를 표시하세요. 수집 데이터를 공개적으로 표시한다면 원본 사이트로 연결되는 링크를 제공하세요.
• 삭제 또는 중단 요청에 대응하세요. 웹사이트 운영자가 수집 중단이나 데이터 삭제를 요청하면 이를 신중하게 검토하세요.
• 정기적으로 검토하세요. 법률, 이용약관, 집행 우선순위는 바뀔 수 있습니다. 준수 사항 검토를 매년 다시 진행하세요.

법률 자문이 필요한 경우

공개 상품 목록을 내부 가격 비교용으로 수집하거나, 부동산 매물을 시장 분석에 활용하거나, 고객 리뷰를 감성 분석용으로 모으는 프로젝트는 비교적 명확한 범위에 속할 수 있습니다. 그러나 모호하거나 위험이 큰 경우도 있습니다. 다음 중 하나에 해당한다면 변호사와 상담해야 합니다.

• 과거에 스크래퍼에게 경고장을 보내거나 소송을 제기한 이력이 있는 플랫폼을 수집하는 경우
• 특히 판매, 프로파일링 또는 다른 데이터셋과의 결합을 목적으로 개인정보를 대규모로 수집하는 경우
• 원본 출처와 경쟁하는 방식으로 수집 콘텐츠를 재게시하거나 재배포하는 경우
• 계정을 보유하고 있더라도 로그인 장벽, 유료 장벽 또는 기술적 보호 조치 뒤에 있는 데이터에 접근하는 경우
• 금융, 의료, 법률 서비스 등 데이터 처리에 업종별 규제가 적용되는 산업에서 운영하는 경우

변호사가 위법한 프로젝트를 적법하게 만들 수는 없지만, 방어 가능한 접근 방식을 설계하고, 약관과 개인정보 처리방침을 작성하며, 위험 완화 방안을 제시할 수 있습니다. 수집 데이터 기반의 SaaS 플랫폼을 구축하거나 비교 사이트를 출시하거나 상업용 데이터셋을 만드는 고가치 프로젝트라면 법률 자문 비용은 소송이나 제재 비용에 비해 적은 편입니다.

스크래핑 서비스와 협업하기

많은 기업은 사내에서 스크래퍼를 직접 구축하기보다 데이터 수집을 외주로 맡깁니다. 전문 서비스는 기술 역량을 제공하고 봇 차단 기술을 처리하며 법적 경계를 이해합니다. 제공업체를 평가할 때는 준수 방식을 물어보세요. 공개 데이터만 수집하나요? robots.txt와 요청 빈도 제한을 준수하나요? 적법한 처리 근거가 없는 개인정보는 수집하지 않나요?

Kodrana는 마켓플레이스, 부동산 사이트, 채용 사이트, 사업자 디렉터리 등 주요 플랫폼을 위한 즉시 사용 가능한 스크래퍼 카탈로그를 제공하며, 새로운 소스용 맞춤형 스크래퍼도 영업일 기준 2~5일 안에 구축합니다. 당사는 공개적으로 이용 가능한 데이터만 수집하며, 소유하지 않은 계정에 로그인하지 않고, 모든 스크래퍼가 기술적·법적 한계를 준수하도록 구성합니다. 프로젝트를 시작하기 전 대상 사이트를 검토하고 구현 가능 여부를 확인합니다. 신규 고객에게는 진행 전 데이터 품질과 준수 여부를 확인할 수 있도록 50~100개 레코드의 무료 샘플을 제공합니다. 프로젝트 가능 여부가 확실하지 않다면 대상 사이트와 필요한 데이터 항목을 보내주세요. 보호 수준을 확인하고 적절한 법적·기술적 진행 방향을 안내해 드립니다.