企业须知：网页数据采集的合规边界

公开与非公开数据：判断网页数据采集合法性的基础

网页数据采集最清晰的判断标准，是区分公开数据与非公开数据。任何访客无需登录即可查看的信息，例如商品列表、企业名录、房源信息和新闻文章，通常属于公开可见信息。对于此类信息，企业仍应结合数据用途、平台规则及采集方式审慎评估，而不能仅因数据公开就忽视其他合规义务。

非公开数据则完全不同。如果需要登录账户、绕过付费墙，或使用他人的账户凭据才能获取信息，就可能涉及未经授权访问、规避技术措施等风险。中国《网络安全法》《数据安全法》等法律对网络运行安全和数据处理提出了要求。公开可见内容与受账户、权限或技术措施保护的内容存在实质区别，后者不应在未获授权的情况下采集。

对于商业用途，建议仅采集所有访客无需登录即可查看的数据。若项目必须访问账户内信息，应确保该账户由您所有，或已获得账户持有人的明确授权。

个人信息与隐私保护法律

采集姓名、电子邮箱、电话号码、IP 地址、位置等个人信息，会触发隐私和个人信息保护义务。中国《个人信息保护法》要求处理个人信息具备合法性基础，并遵循公开透明、目的明确、最小必要等原则，同时保障个人依法享有的权利。《数据安全法》和《网络安全法》也对数据处理与网络安全提出了相关要求。

处理依据至关重要。若从公开企业名录采集企业联系人信息用于 B2B 营销，仍需审慎判断是否具备适当的处理基础，并满足告知、目的限制和最小必要等要求。若采集消费者画像、包含姓名的评价或社交媒体活动，则更需要谨慎评估同意、处理目的及个人权利保障。公开可见并不意味着可以不受个人信息保护规则约束，数据处理者仍需具备合法、正当、必要的理由，并符合个人的合理预期。

在实践中，许多企业会尽量避免采集个人信息。例如，与其采集附带用户名的评论，不如采集汇总评分和匿名文本；与其收集个人社交媒体主页，不如在确有业务必要且具备明确合规路径前避免关联到可识别个人的信息。若项目必须处理个人信息，建议在启动前咨询专业的数据合规律师。

平台服务条款：合同约定与技术访问

多数网站都会在服务条款中禁止数据抓取、自动化访问或将平台数据用于商业用途。此类条款的法律效力常被误解。服务条款通常属于合同约定，违反条款本身并不当然等同于刑事违法，但仍可能引发合同、竞争或其他民事层面的争议。

不过，服务条款仍可能具有约束力，违反后可能带来民事后果。网站运营者可以发送停止侵权通知、要求停止访问或删除数据，并在其主张权益受损时寻求禁令或损害赔偿。若您明确同意了禁止采集的条款，且采集行为对平台造成实际影响，面临争议的风险会更高。

如何应对服务条款

• 阅读服务条款。若条款明确禁止采集，而您计划开展商业项目，应评估风险。拥有成熟法务团队的大型平台通常比小型网站更可能执行其规则。
• 优先查看是否提供 API。许多平台提供官方 API，可提供结构化数据，减少合同和访问权限上的不确定性。
• 保持克制并采用合理技术方式。即使条款禁止采集，低频、不会干扰服务的自动化访问，与高频、大规模访问的风险并不相同。争议往往取决于规模和实际影响。
• 记录采集流程。如发生争议，能够证明您仅采集公开数据、遵守 robots.txt 并保持合理请求频率，将有助于说明您采取了审慎措施。

对于存在灰色地带的项目，例如从大型电商平台或房产平台采集数据进行价格监测，更务实的做法是谨慎推进，选择了解边界的可靠数据采集服务，并在收到法律异议或平台通知时做好停止项目的准备。

著作权与数据库权益

著作权保护具有独创性的作品，包括文字、图片、视频和软件代码。采集网站数据并不意味着您获得了其内容的所有权。未经许可转载采集到的文章、商品描述或摄影图片，可能构成著作权侵权。网站内容的编排、选择或呈现方式，也可能受到著作权或其他相关权益的保护。

事实本身通常不受著作权保护，例如价格、地址和产品规格；但事实的表达方式、内容编排或具有独创性的呈现方式可能受到保护。将原始事实数据用于内部用途，例如价格对比、市场调研或库存监测，通常比直接公开转载内容的风险更低。以与原始来源直接竞争的方式重新发布这些数据，风险则更高。

降低著作权风险的方法

1. 提取事实，而非创意内容。优先采集价格、规格和库存状态，不采集营销文案或专业摄影图片。
2. 对数据进行转换。将采集数据汇总、分析或重新组织为自己的产品，可增加独立价值并降低直接复制的风险。
3. 在适当情况下标明来源。如果要公开展示采集的数据，应提供原始来源链接。
4. 避免批量转载。镜像整个网站或数据库是最明显的侵权风险。应利用采集数据辅助决策，而非替代原始网站。

对于会重新发布或分发采集内容的商业项目，例如比价网站、聚合平台或AI 训练数据集，建议投入预算进行专业法律审查。

技术影响：尊重网站基础设施

即使您有理由采集某些数据，采用何种技术方式同样重要。以大量请求压垮网站，可能造成拒绝服务风险，也可能因干扰网站系统运行而引发责任。若激进采集导致网站宕机、托管成本增加或用户体验下降，网站运营者可能据此主张损失或要求停止相关行为。

请求限速既是一种技术礼仪，也是风险控制措施。设计合理的采集程序应模拟正常访问行为：在请求之间设置间隔，遵循 robots.txt 指令，使用清晰的用户代理标识，并在网站返回错误时降低频率或停止访问。网站会部署反爬虫措施，不仅用于执行服务规则，也用于保护自身基础设施。

robots.txt 并非当然具有法律强制力，但在发生争议时，忽视它会削弱您的立场。遵守 robots.txt 可作为善意和审慎访问的证据，而明知违反相关限制可能增加争议风险。对于商业项目，除非存在明确理由且已获得法律意见，否则应将采集程序配置为遵守 robots.txt。

实用合规检查清单

每个数据采集项目都应从合规审查开始。以下清单涵盖中国企业进行网页数据采集时的主要法律和技术考量。它不能替代专业法律意见，但可帮助您在投入资源前识别风险。

启动前

• 确认数据是否公开。任何访客是否无需登录或付费即可查看？如是，仍可继续进行后续审查；如否，应停止或取得授权。
• 检查是否有官方 API。许多平台提供结构化数据访问方式，可减少合同和访问权限方面的不确定性。
• 阅读服务条款。记录其中关于数据采集、自动化访问或商业使用的明确限制，并结合平台的执行情况和您的使用场景评估风险。
• 识别个人信息。是否会采集姓名、邮箱、电话号码或其他身份标识？如会，应根据《个人信息保护法》确认处理基础和合规义务。
• 审查著作权及相关权益。您采集的是文字、图片等创意内容，还是价格、规格等事实数据？应优先使用事实数据，避免复制内容，并尽可能进行独立加工。

项目进行中

• 遵守 robots.txt。除非有明确法律依据，否则应将采集程序设置为遵守禁止访问指令。
• 限制请求频率。分散请求，避免给目标网站造成压力。对于小型网站，可从每秒一次请求作为保守起点。
• 使用清晰的用户代理标识。通过描述明确的用户代理标识采集程序，并提供联系信息。
• 监控封禁与错误。如果收到 403、429 或验证码挑战，应降低请求频率或停止采集。
• 安全存储数据。如采集个人信息，应在传输和存储过程中加密，限制访问权限，并遵守数据保存期限要求。

采集完成后

• 将数据用于已说明的目的。未经重新评估处理基础，不应将个人信息改作其他用途。
• 在适当情况下标注来源。如公开展示采集数据，应提供原始网站链接。
• 重视删除或停止请求。若网站运营者要求您停止采集或删除数据，应认真处理该请求。
• 定期复核。法律会变化，服务条款会更新，平台的执行重点也会调整。建议每年重新进行合规审查。

何时应寻求法律意见

有些项目通常处于较低风险范围内，例如采集公开商品列表用于内部价格对比、收集房源信息进行市场分析，或汇集客户评价进行情感研究。另一些项目则存在模糊性或较高风险。若项目涉及以下任一情形，建议咨询律师：

• 采集的平台过去曾发送停止侵权通知，或曾针对数据采集方提起诉讼。
• 大规模采集个人信息，尤其计划出售、用于用户画像，或与其他数据集结合使用。
• 以可能与原始来源直接竞争的方式重新发布或分发采集内容。
• 访问登录墙、付费墙或技术保护措施后的数据，即使您拥有账户。
• 在金融、医疗、法律服务等受监管行业开展业务，且数据处理须遵守行业特定规则。

律师无法让本不合规的项目变得合规，但可以帮助您设计更具可辩护性的方案、起草条款和隐私声明，并就风险缓释提供建议。对于高价值项目，例如基于采集数据构建SaaS 平台、推出比价网站或创建商业数据集，法律意见的成本通常远低于诉讼或监管处罚的成本。

与数据采集服务商合作

许多企业会选择外包数据采集，而不是自行开发采集程序。专业服务商能够提供技术经验，处理反爬虫保护，并理解相关边界。评估服务商时，应询问其合规实践：是否只采集公开数据？是否遵守 robots.txt 和请求频率限制？在您未提供合法处理基础时，是否避免处理个人信息？

Kodrana 提供适用于常见平台的现成采集器目录，覆盖电商平台、房产网站、招聘网站和企业名录，也可在 2-5 个工作日内为新的数据源开发定制采集器。我们仅采集公开可用的数据，绝不登录不属于我们的账户，并为每个采集器设置技术和法律边界。在项目启动前，我们会审查目标网站并确认可行性。对于新客户，我们提供 50-100 条记录的免费样本，方便您在决定合作前验证数据质量与合规性。如果您不确定项目是否可行，可将网站和所需字段发送给我们，我们会评估其保护级别，并就后续的法律和技术路径提供建议。