Парсинг Crawlability & AI Access Auditor: выгрузка данных с сайта
Парсим данные с сайта с Crawlability & AI Access Auditor (Весь мир) готовым парсером Crawlability & AI Access Auditor. Уровень защиты: высокая. Разовая выгрузка или регулярный сбор по расписанию в CSV, Excel, Google Sheets или по API.
- Регион
- Весь мир
- Защита сайта
- высокая предварительная оценка
- Частота обновления
- от разовой выгрузки до каждого часа
- Форматы
- CSV, Excel, JSON, Google Sheets, API, webhook
- Статус
- Под заказ · 2–5 дней
- Запуск
- 2–5 дней после теста
- Стоимость
- от 44 900 ₽
Какие данные собираем
| Поле | Ключ в выгрузке |
|---|---|
| Payload Domain | payload.domain |
| Payload verdict | payload.verdict |
| Payload ai access training blocked | payload.aiAccess.trainingBlocked |
| Payload ai access search blocked | payload.aiAccess.searchBlocked |
| Payload tdm level | payload.tdm.level |
| Payload anti bot services | payload.antiBot.services |
| Payload anti bot challenged | payload.antiBot.challenged |
| Payload llms txt present | payload.llmsTxt.present |
| Payload sitemaps Total urls | payload.sitemaps.totalUrls |
| Payload sitemaps lastmod Max | payload.sitemaps.lastmodMax |
| Сводка данных | payload.summary |
| Тип изменения | changeType |
| Краткое описание | summary |
| Ссылка на источник | sourceUrl |
Как можно задать сбор
- Домены
- Режим
- Страниц для выборки
- Макс. число файлов sitemap
- Искать оговорки TDM в документах и юридических страницах
- Дополнительные токены user-agent
- Ключ штата
Для чего используют
- Регулярная выгрузка данных в таблицы или API
- Мониторинг изменений на сайте
- Данные для аналитики и ИИ
Получите пример данных бесплатно
Напишите, какие страницы и поля Crawlability & AI Access Auditor нужны, — пришлём 50–100 реальных записей до оплаты.
или напишите напрямую
Написать в Telegram @kodranaЧастые вопросы
Сколько стоит парсинг Crawlability & AI Access Auditor?
Разовая выгрузка до 10 000 записей — 44 900 ₽. Регулярные данные по подписке — от 29 900 ₽ в месяц при обновлении раз в неделю или 105 000 ₽ при ежедневном обновлении, плюс разовая настройка. Точную цену назовём после бесплатного теста.
Как работает подписка?
Подписка оформляется на один источник: Crawlability & AI Access Auditor с выбранной частотой обновления и лимитом записей в месяц. Оплата — за месяц вперёд. Если оплата не пришла, сбор ставится на паузу; вернуться в течение 30 дней можно без новой настройки.
Как быстро вы запустите сбор?
Обычно за 2–5 рабочих дней. До оплаты пришлём бесплатный пример на 50–100 записей, чтобы вы проверили поля и формат.
Что будет, если Crawlability & AI Access Auditor изменит сайт?
Мы следим за работой парсера каждый день. Если сайт поменялся и сбор сломался, чиним за 48 часов — в подписке это входит в цену.
В каком виде придут данные?
CSV, Excel, JSON, Google Sheets, по API или webhook — как удобнее. Можно настроить выгрузку прямо в вашу CRM или базу данных.
Это законно?
Мы собираем только общедоступную информацию, без входа в чужие аккаунты и без персональных данных людей, и соблюдаем щадящую нагрузку на сайт. Как использовать данные в вашей стране и отрасли, лучше уточнить у юриста.
Как оплатить?
Картой или по СБП, по счёту на ИП (безнал, с закрывающими документами) или в USDT.