Стоимость парсинга сайта: из чего складывается смета

Сколько стоит парсинг: ориентиры для разовой выгрузки и подписки

Обычно проект начинается с ответа на три вопроса: какие сайты нужно обработать, какие данные нужны из каждой карточки и как часто они должны обновляться. Разовая выгрузка подходит для исследования рынка, первичного наполнения CRM, анализа ассортимента или создания датасета. Подписка нужна, когда данные быстро устаревают: например, при контроле цен, остатков, новых объявлений или отзывов.

У Kodrana разовая выгрузка до 10 000 записей стоит от 15 900 ₽ / 24 900 ₽ / 44 900 ₽ в зависимости от защиты сайта. Еженедельное обновление по подписке — от 9 900 ₽/мес, ежедневное — от 19 900 ₽/мес, плюс разовая настройка. В подписку входят исправления в течение 48 часов при изменениях сайта, хранение данных и поддержка. Для задач с регулярным сравнением ассортимента и цен разумно сразу рассмотреть мониторинг цен конкурентов, а не заказывать отдельные выгрузки вручную.

Когда достаточно разовой выгрузки

• Нужно проверить гипотезу: оценить число предложений, диапазон цен, бренды или географию спроса.
• Требуется единоразово перенести открытый каталог поставщика в таблицу или внутреннюю систему.
• Аналитик собирает срез рынка для презентации, закупки либо расчёта экономики.
• Нужен исходный массив для классификации, ручной проверки или обучения модели, без постоянного обновления.

Когда выгоднее регулярный сбор

• Цена или наличие меняются ежедневно, а решение о закупках зависит от актуальных значений.
• Нужно отслеживать новые объявления, вакансии, объекты недвижимости или отзывы.
• Данные должны автоматически попадать в Google Sheets, CRM, базу данных, API или webhook.
• Команда тратит часы на повторяющиеся скачивания, очистку файлов и сверку изменений.

Не стоит сравнивать предложения подрядчиков только по минимальной стартовой цене. В одном случае результатом будет файл с URL и названием, в другом — нормализованный набор с идентификаторами, историей изменений, дедупликацией и загрузкой в рабочую систему. Сначала зафиксируйте ожидаемый результат, затем сопоставляйте сметы.

Какие факторы формируют стоимость парсинга

Количество записей — заметный, но не единственный параметр. Тысяча однотипных страниц в открытом каталоге может быть проще, чем сто страниц с разными шаблонами, неполными полями и частыми изменениями. Для оценки исполнителю нужны ссылки не только на главную страницу, но и на несколько реальных карточек и страниц выдачи.

1. Защита и доступность сайта. Ограничения частоты запросов, динамическая подгрузка, нестабильная вёрстка и сложная навигация увеличивают время на безопасную реализацию и контроль результата. Это не означает, что защиту следует обходить: работа должна вестись в допустимых пределах, без инструкций по преодолению ограничений. Контекст таких ограничений подробно разобран в материале о защите от парсинга.
2. Объём и глубина обхода. Смета зависит от числа карточек, страниц пагинации, городов, категорий и периода истории. Полный архив объявлений и текущая первая страница выдачи — разные по трудозатратам задачи.
3. Набор полей. Название, цена и ссылка извлекаются проще, чем вариации товара, параметры, изображения, рейтинг, отзывы, продавец, координаты, дата публикации и характеристики из нескольких вкладок.
4. Частота обновления. Однократная выгрузка не требует логики сравнения версий. Для ежедневного мониторинга нужны устойчивый запуск, хранение предыдущих значений, обработка исчезнувших карточек и уведомления об изменениях.
5. Формат передачи. CSV и Excel удобны для ручной работы; JSON, API, webhook или прямая запись в CRM требуют согласовать структуру, ключи, статусы ошибок и правила обновления.
6. Требования к качеству. Дедупликация, нормализация валют, телефонов, адресов, брендов и единиц измерения, валидация обязательных полей, сопоставление товаров между сайтами — это отдельные работы.
7. Сопровождение. Сайт может поменять шаблон карточки или каталог. Важно заранее определить, кто следит за изменениями, срок исправления и что считается изменением объёма задачи.

Например, для мониторинга Ozon недостаточно сказать «нужны цены». Нужно уточнить: какие SKU или поисковые запросы отслеживать, учитывать ли продавца, цену с картой или без неё, доставку, рейтинг, остатки и акции. Для типовых источников можно начать с готового парсера Ozon, но итоговая схема всё равно зависит от вашей товарной модели.

Число полей, формат данных и интеграции: где появляется дополнительная работа

Бизнес часто недооценивает этап после сбора. Файл становится полезным только тогда, когда его можно сопоставить со своими товарами, загрузить в отчёт и понять, что изменилось. Поэтому поле «цена» в брифе лучше заменить точным описанием: «текущая цена, старая цена при наличии, размер скидки, валюта, дата и время сбора».

Перед стартом согласуйте пример одной строки результата. Для маркетплейса это может быть внешний ID, URL, название, бренд, категория, цена, продавец, рейтинг, число отзывов, наличие, дата сбора. Для справочника компаний — название, адрес, рубрика, сайт, публичные контакты, рейтинг и ссылка на карточку. У Kodrana есть парсеры справочников компаний и решения для других типовых категорий, но перечень колонок должен определять заказчик под конкретное решение.

• Для Excel или CSV уточните кодировку, разделитель, названия колонок, формат дат и нужно ли разбивать файл по регионам или категориям.
• Для Google Sheets укажите доступ к таблице, нужный лист, правило перезаписи и столбец с датой обновления.
• Для JSON, API и webhook зафиксируйте схему объектов, идентификатор записи, лимит пакета, авторизацию вашего приёмника и обработку повторной отправки.
• Для CRM или базы данных опишите, какая сущность создаётся или обновляется, по какому ключу искать дубликаты и какие поля не разрешено перезаписывать.

Если источник предоставляет официальный API и он покрывает нужные поля и условия использования, его стоит сравнить с извлечением данных со страниц. Разница в полноте, цене, лимитах, стабильности и правах на использование разобрана в статье API или парсинг.

Логины, персональные данные и правовые границы проекта

Наличие авторизации почти всегда меняет постановку задачи. Для законной работы нельзя передавать подрядчику чужие учётные данные, просить обходить платный доступ или технические ограничения, а также извлекать информацию из закрытых разделов без законного основания. Kodrana собирает только публично доступные данные, не входит в чужие аккаунты, не собирает персональные данные и поддерживает бережную нагрузку на сайты.

Даже публичная страница не отменяет проверки правовой модели. Учитывайте пользовательское соглашение конкретного сайта, положения 152-ФЗ «О персональных данных», а также нормы ГК РФ о праве изготовителя базы данных, включая статью 1334. Особая осторожность нужна, если выгрузка содержит ФИО, телефоны, e-mail, фотографии людей, профили специалистов или сведения, которые можно связать с конкретным человеком.

Собирайте только те поля, которые действительно нужны для деловой цели, ограничивайте срок хранения и доступ сотрудников к выгрузке. Не смешивайте данные из разных источников без проверки оснований и не используйте массив для массовых рассылок без правовой оценки. Для конкретного кейса, особенно с персональными данными, закрытыми кабинетами или дальнейшим распространением базы, стоит получить заключение юриста. Общие вопросы допустимости сбора разобраны в статье о законности парсинга.

Скрытые расходы самостоятельного парсинга

Самостоятельный скрипт или расширение браузера может быть оправдано для маленькой одноразовой задачи. Но стоимость внутренней разработки — это не только часы программиста. Нужно проверить полноту выгрузки, обеспечить повторный запуск, реагировать на изменения страницы, хранить результаты, разбираться с дублями и объяснять аналитикам структуру файла.

Особенно часто бюджет растёт после первого запуска: сайт поменял карточку, в отчёте появились пустые цены, один товар выгрузился в нескольких вариантах, а сравнение с прошлой неделей стало невозможным. Если задача критична для закупок или ценообразования, полезно считать стоимость часа сотрудников, риск ошибочного решения и время простоя данных, а не только цену разработки.

• Разовая ручная выгрузка часто не содержит стабильного идентификатора, поэтому изменения трудно отслеживать.
• Готовый инструмент может собирать видимый текст, но не решать задачу нормализации и сопоставления товаров.
• Внутреннему разработчику потребуется время на поддержку, документацию и передачу проекта другому сотруднику.
• Без контрольной выборки команда может не заметить пропуски категорий, дубли и устаревшие записи.
• Для регулярной задачи нужны журнал запусков, понятный статус загрузки и ответственный за разбор ошибок.

Сравнить готовые сервисы, расширения и заказную разработку можно в обзоре инструментов и заказного парсинга. Если данные должны дальше запускать процессы — например, обновлять цены, создавать задачи или отправлять отчёты, парсинг логично связать с автоматизацией бизнеса.

Шаблон брифа: что отправить, чтобы заказать парсинг

Хороший бриф не обязан быть длинным. Его цель — убрать двусмысленность до оценки: исполнитель понимает источник и границы работы, а заказчик получает сопоставимую смету и проверяемый результат. Ниже шаблон можно скопировать в заявку и заполнить за 10–15 минут.

1. Цель: что вы хотите решить данными. Пример: ежедневно сравнивать цены на 300 SKU с пятью конкурентами и получать отклонения более 7%.
2. Источники: ссылки на сайты, категории, поиск, карточки и нужные регионы. Укажите, это один домен или несколько площадок.
3. Объём: примерное число записей сейчас, число категорий, городов, страниц или поисковых запросов. Отдельно отметьте, нужен ли архив или только актуальный срез.
4. Поля: перечислите обязательные и желательные колонки. Добавьте пример корректной строки и поясните, как трактовать цену, наличие, дату, продавца или рейтинг.
5. Периодичность: один раз, еженедельно, ежедневно либо по событию. Укажите желательное время готовности данных.
6. Обработка: нужна ли дедупликация, очистка, нормализация названий, сопоставление с вашим SKU, сравнение с прошлой выгрузкой или уведомления.
7. Передача: CSV, Excel, JSON, Google Sheets, API, webhook, CRM или база данных. Приложите пример файла либо описание схемы.
8. Критерии приёмки: допустимый процент пустых полей, обязательные категории, способ проверки, формат отчёта об ошибках и сроки.
9. Правовые ограничения: подтвердите, что интересуют публичные данные; сообщите о внутренних политиках и необходимости согласования с юристом.
10. Контакт и срок: кто отвечает на вопросы, к какой дате нужен первый результат и какой бюджетный диапазон вы рассматриваете.

Для нескольких площадок полезно приложить таблицу «источник — URL — поля — периодичность — приоритет». Если вы изучаете предложения на классифайдах, укажите фильтры выдачи, города и правила исключения дублей; для этого типа задачи можно посмотреть решения для досок объявлений. Чем точнее критерии приёмки, тем меньше риск получить формально полный, но непригодный файл.

Как проверить оценку подрядчика до запуска

До оплаты попросите подтвердить, какие именно страницы и поля попадут в результат, как будет измеряться объём и что произойдёт при изменении сайта. Полезно начать с небольшой выборки: она показывает не только техническую возможность сбора, но и качество данных, которое увидит ваша команда.

• Сверьте 20–30 строк из выборки с исходными страницами вручную.
• Проверьте, есть ли обязательные поля и понятная дата сбора.
• Уточните, входят ли в цену очистка, дедупликация и обработка ошибок.
• Зафиксируйте формат передачи, срок первой выгрузки и периодичность обновлений.
• Согласуйте, кто и в какой срок исправляет изменения на источнике.
• Убедитесь, что задача не требует доступа к чужим аккаунтам и не предполагает незаконный сбор персональных данных.

У Kodrana можно отправить сайт и перечень полей, чтобы проверить защиту и получить бесплатный образец из 50–100 записей до оплаты. Это практичный способ понять, подходит ли структура данных вашей задаче, а затем запросить смету на парсинг сайта на заказ или регулярное обновление без обязательства сразу запускать большой проект.