Por qué los sitios web bloquean el scraping y cómo abordarlo de forma legal

Por qué los sitios protegen sus datos con sistemas antibot

Un sitio web invierte recursos en generar contenido, mantener servidores y ofrecer una experiencia de usuario. La protección anti scraping responde a varios objetivos legítimos: evitar la sobrecarga del servidor por bots mal configurados, proteger ventajas competitivas (como precios o catálogos exclusivos), cumplir con acuerdos de licencia de datos de terceros y prevenir usos fraudulentos como creación masiva de cuentas falsas o reventa no autorizada de información.

En España, el derecho sui generis sobre bases de datos (Ley de Propiedad Intelectual) protege la inversión realizada en obtener, verificar y presentar datos, aunque estos sean públicos. Un marketplace, por ejemplo, puede considerar que su catálogo agregado representa una inversión significativa y limitar su extracción masiva mediante condiciones de uso y barreras técnicas.

Desde el punto de vista técnico, los bots también pueden consumir ancho de banda y capacidad de procesamiento desproporcionados. Un scraper mal configurado que lanza miles de peticiones por minuto puede degradar el rendimiento del sitio para usuarios reales, generando costes adicionales en infraestructura.

Principales técnicas de protección anti scraping que encontrarás

Rate limiting y análisis de comportamiento

El rate limiting establece un máximo de peticiones por IP o por sesión en un periodo determinado. Si un bot supera ese umbral, el servidor devuelve un error 429 (Too Many Requests) o bloquea temporalmente la IP. Los sistemas más sofisticados analizan patrones de navegación: velocidad de clics, movimientos del ratón, tiempo entre páginas, orden de acceso a recursos. Un humano navega de forma errática; un bot sigue patrones mecánicos.

CAPTCHAs y desafíos interactivos

Los CAPTCHAs (reCAPTCHA de Google, hCaptcha y otros) obligan a resolver un desafío que supuestamente solo un humano puede completar: identificar imágenes, resolver puzles o simplemente marcar una casilla mientras el sistema analiza el comportamiento del navegador. Aparecen cuando el sitio detecta actividad sospechosa o como barrera preventiva en páginas sensibles.

Servicios especializados: Cloudflare, DataDome, PerimeterX

Cloudflare ofrece varios niveles de protección, desde un simple desafío JavaScript hasta su modo I'm Under Attack, que interpone una página de espera antes de permitir el acceso. DataDome y PerimeterX utilizan machine learning para detectar bots en tiempo real, analizando cientos de señales (cabeceras HTTP, huellas del navegador, comportamiento de red) y asignando puntuaciones de riesgo. Estas soluciones se actualizan constantemente y adaptan sus reglas según la amenaza detectada.

Renderizado JavaScript y contenido dinámico

Muchos sitios modernos cargan datos mediante JavaScript después de la carga inicial de la página. Un scraper básico que solo lee el HTML inicial no verá ese contenido. Además, algunos sitios generan tokens de sesión o identificadores mediante código JavaScript ofuscado, haciendo que cada petición requiera ejecutar lógica en el navegador.

Otras técnicas incluyen honeypots (enlaces o campos ocultos que solo un bot seguiría), fingerprinting del navegador (detectar inconsistencias entre lo que el cliente dice ser y su comportamiento real) y listas negras de IPs asociadas a datacenters o servicios de proxy conocidos.

Marco legal en España: qué puedes y qué no puedes hacer

La legalidad del web scraping en España depende de qué datos recoges, cómo los obtienes y para qué los usas. Recoger información pública (precios, descripciones de productos, horarios, direcciones) de un sitio web generalmente es lícito, siempre que no infrinjas las condiciones de uso del sitio, no recopiles datos personales sin base legal y no causes daño técnico al servidor.

El RGPD y la LOPDGDD son claros: no puedes recopilar datos personales (nombres, correos, teléfonos de individuos) sin una base legal válida, que casi nunca existe para scraping comercial. La AEPD ha sancionado casos de recopilación masiva de datos personales sin consentimiento. Si tu proyecto requiere datos de personas, consulta con un abogado especializado antes de proceder.

Saltarse medidas de protección técnica (logins, paywalls, CAPTCHAs) puede interpretarse como acceso no autorizado. El artículo 197 del Código Penal tipifica el acceso sin autorización a sistemas informáticos, aunque su aplicación a scraping de contenido público es objeto de debate. Las condiciones de uso de un sitio tienen valor contractual limitado cuando se trata de contenido público, pero violarlas deliberadamente puede generar consecuencias legales o al menos el bloqueo definitivo de tu acceso.

En resumen: datos públicos y no personales, respetando la carga del servidor y sin eludir protecciones de acceso, suele estar dentro de lo legal. Cualquier otra situación requiere asesoramiento jurídico específico.

Cómo trabajar con sitios protegidos de forma responsable

Primero: busca una API oficial o acuerdo comercial

Antes de construir un scraper, verifica si el sitio ofrece una API pública o comercial. Muchas plataformas proporcionan acceso estructurado a sus datos mediante APIs documentadas, a veces gratuitas (con límites) o de pago. Un acuerdo con API es más estable, legal y mantenible que el scraping: recibes datos en formato estructurado, con soporte técnico, sin riesgo de bloqueos y con actualizaciones garantizadas.

Si la API no cubre tus necesidades o no existe, contacta con el propietario del sitio para explorar un acuerdo de licencia de datos. Algunas empresas ofrecen acceso preferente a cambio de una tarifa o bajo ciertas condiciones de uso. Esta vía tarda más, pero elimina riesgos legales y técnicos.

Diseña el scraper con velocidad controlada

Si vas a hacer scraping, configura el proyecto para minimizar el impacto en el servidor objetivo. Introduce pausas entre peticiones (uno o varios segundos, según el sitio), distribuye las solicitudes en el tiempo (scraping nocturno o en horarios de baja carga) y limita la concurrencia (no uses decenas de hilos simultáneos contra un mismo dominio). Un scraper profesional respeta estos límites por defecto.

Implementa caché y evita peticiones redundantes

Guarda los datos recopilados y reutilízalos antes de volver a solicitarlos. Si necesitas actualizar un catálogo de marketplace, compara versiones y descarga solo los cambios, no todo el inventario cada vez. Respeta las cabeceras HTTP de caché (Cache-Control, ETag) y el archivo robots.txt del sitio, aunque no sea vinculante legalmente, como señal de buena fe.

Identifica tu bot correctamente

Usa un User-Agent descriptivo que identifique tu proyecto y proporcione un contacto. En lugar de simular ser un navegador convencional, declara abiertamente que es un bot. Esto permite al administrador del sitio entender tu actividad y, si es necesario, contactarte en lugar de bloquearte directamente. Algunos sitios aprecian esta transparencia y ajustan sus límites para bots bien comportados.

Maneja errores y bloqueos de forma inteligente

Cuando recibas un error 429 o 503, respeta el tiempo de espera sugerido en la cabecera Retry-After. Si te bloquean, detén el scraper y revisa la configuración antes de reintentar. Insistir agresivamente tras un bloqueo empeora la situación y puede derivar en un baneo permanente de tu rango de IPs.

Qué hacer cuando la protección antibot es muy fuerte

Sitios con Cloudflare en modo alto, DataDome activo o requisitos de JavaScript complejos pueden resultar inaccesibles con scrapers simples. En estos casos, tienes varias alternativas antes de rendirte o intentar eludir las protecciones de forma arriesgada.

1. Reevalúa si realmente necesitas esos datos o si hay fuentes alternativas. A veces existe información equivalente en sitios menos protegidos, APIs públicas de terceros o bases de datos oficiales.
2. Considera usar un navegador real controlado programáticamente (headless browser). Herramientas como Puppeteer o Playwright ejecutan JavaScript, gestionan cookies y se comportan más como un usuario real, aunque son más lentas y consumen más recursos.
3. Consulta con un estudio especializado en extracción de datos que ya tenga experiencia con ese tipo de sitios. Un equipo técnico experimentado puede evaluar la viabilidad real, estimar el coste de mantenimiento y proponerte alternativas realistas, incluida la opción de no proceder si el riesgo legal o técnico es demasiado alto.
4. Explora soluciones de datos agregados o servicios de inteligencia comercial que ya tengan licencias o acuerdos con las fuentes que te interesan.

Nunca intentes eludir sistemas de protección mediante técnicas que violen términos de servicio o leyes de acceso no autorizado. El coste de una sanción, demanda o pérdida de reputación supera con creces el valor de los datos.

Casos prácticos: protección antibot en sectores comunes

Inmobiliarias y portales de anuncios

Plataformas como Idealista o Fotocasa aplican rate limiting moderado y detectan patrones de scraping masivo. Un proyecto de recopilación de datos inmobiliarios responsable programa actualizaciones diarias o semanales, no cada hora, y almacena los anuncios históricos para análisis de tendencias sin necesidad de descargarlos repetidamente.

E-commerce y marketplaces

Los grandes marketplaces protegen activamente sus catálogos y precios con servicios antibot avanzados. Un proyecto de monitorización de precios de la competencia debe priorizar APIs oficiales de afiliación cuando existan, limitar el número de productos vigilados a los realmente relevantes y aceptar frecuencias de actualización realistas (una o dos veces al día en lugar de cada minuto).

Directorios de empresas y datos B2B

Sitios como PaginasAmarillas.es contienen información pública, pero su recopilación masiva puede chocar con sus condiciones de uso y con las políticas de protección de datos si incluyen información de contacto de personas físicas (autónomos). Un proyecto que necesite este tipo de datos debe consultar con un abogado para asegurar la base legal y considerar fuentes oficiales como el Registro Mercantil o bases de datos de licitaciones públicas (contratos del sector público en gob.es).

Checklist: evaluación de viabilidad de un proyecto de datos

Antes de lanzar un proyecto de extracción de datos, responde estas preguntas para evaluar riesgos y viabilidad:

• ¿Los datos que necesitas son públicos y no incluyen información personal sin base legal?
• ¿Existe una API oficial o un acuerdo comercial disponible que cubra tus necesidades?
• ¿Has revisado las condiciones de uso del sitio objetivo y identificado restricciones explícitas al scraping?
• ¿Has probado con un volumen pequeño para medir la respuesta del sitio (rate limits, bloqueos, CAPTCHAs)?
• ¿Tu proyecto puede funcionar con actualizaciones diarias o semanales en lugar de en tiempo real?
• ¿Tienes capacidad para mantener el scraper cuando el sitio cambie su estructura o protecciones?
• ¿Has considerado alternativas: fuentes de datos públicas, APIs de terceros, servicios de datos agregados?
• ¿El valor de los datos justifica el coste técnico, legal y de mantenimiento del scraping?

Si la mayoría de respuestas son positivas, el proyecto es viable. Si dudas en varios puntos, merece la pena explorar alternativas o consultar con especialistas antes de invertir recursos.

Alternativas al scraping cuando las barreras son demasiado altas

Cuando un sitio está fuertemente protegido o el marco legal es incierto, considera estas opciones antes de abandonar el proyecto:

• Busca proveedores de datos especializados que ya tengan licencias o acuerdos con las fuentes que necesitas. En sectores como inmobiliario, financiero o retail existen empresas que agregan y redistribuyen datos legalmente.
• Explora bases de datos abiertas y oficiales: el INE, registros mercantiles, portales de datos abiertos autonómicos y municipales, licitaciones públicas. Muchos ofrecen APIs o descargas masivas gratuitas.
• Considera la entrada manual de datos si el volumen es limitado o puntual. A veces la inversión en automatización no compensa frente a un proceso supervisado por personas.
• Negocia un acuerdo de licencia directamente con el propietario de los datos. Aunque requiere tiempo y presupuesto, es la vía más sólida para proyectos a largo plazo.
• Reformula el proyecto para trabajar con datos que ya tienes o puedes obtener fácilmente, en lugar de perseguir una fuente inaccesible.

La automatización tiene límites, y reconocerlos a tiempo ahorra costes y problemas legales.

Cómo Kodrana aborda proyectos con sitios protegidos

Antes de empezar cualquier proyecto, evaluamos las protecciones del sitio objetivo y la viabilidad legal y técnica. Si tienes un sitio concreto del que necesitas datos, podemos prepararte una muestra gratuita de 50-100 registros para demostrar que el acceso es posible y que los datos cumplen tus requisitos. Solo recopilamos información pública, nunca accedemos a cuentas ajenas ni recogemos datos personales sin base legal, y configuramos todos nuestros scrapers con límites de velocidad que respetan los servidores objetivo. Si la protección antibot es muy fuerte o hay dudas legales, te lo indicamos antes de aceptar el encargo y exploramos alternativas contigo: APIs oficiales, fuentes de datos abiertas o reformulación del proyecto. Nuestro objetivo es entregarte datos fiables de forma sostenible, no soluciones frágiles que se rompan a las pocas semanas.