Парсинг сайта: стоимость и формула расчёта

Стоимость парсинга складывается из пяти составляющих. Вот базовую формулу вывода, адаптированную для 2026 года:

Где:

• N — количество страниц для парсинга
• C_proxy — стоимость одного запроса через прокси (руб.)
• T_сервер — время аренды сервера (часы)
• H_сервер — цена часа аренды (руб./час)
• N_блок — количество страниц, которые потребуют обхода блокировок (CAPTCHA, капчи)
• C_обход — стоимость одного обхода (руб./запрос, обычно 0.5–5₽)
• C_разраб — стоимость разработки парсера (руб., разовая)
• C_перераб — стоимость очистки и структурирования данных (руб.)

Для типового проекта (парсинг 1000 страниц интернет-магазина) при расчете на Python с использованием библиотек requests и BeautifulSoup выделите основные компоненты. Для частных случаев, как например, парсинг сайта с динамическими ценами, пригодится Калькулятор стоимости парсинга сайта.

Разберём пошаговый пример для крупного маркетплейса (как Wildberries) — высокодинамичные страницы с ценами и остатками. Допустим, нужно собрать цены 10 000 страниц каждый день в течение месяца.

Шаг 1. Оценка количества запросов и прокси

• 10 000 страниц × 30 дней = 300 000 запросов.
• Необходима ротация IP: резидентные прокси ≈ 1.5 ₽/запрос (на 2026 год). Дорого? Да, но альтернатива — блокировки и недостоверные данные.
• Для снижения затрат используем задержки между запросами (1–2 сек) и группировку запросов в сессии.

Шаг 2. Стоимость сервера

• Парсинг запущен на VPS с 4 vCPU, 8 ГБ RAM (≈ 25 ₽/час на 2026 год).
• Время выполнения одного запроса с обработкой — 0.5 сек, итого 300 000 × 0.5 = 150 000 сек ≈ 42 часа.
• Стоимость сервера: 42 × 25 = 1 050 ₽.

Шаг 3. Обход блокировок

• Примерно 5% страниц требуют капчи (каптча-сервис 0.02 ₽ за решение) или смены User-Agent. Дополнительные расходы: 15 000 × 0.5 = 7 500 ₽ (если каждая капча требует 0.5 ₽ через сервис).

Шаг 4. Разработка парсера и обработка данных

• Разработка парсера на Python с селениумом для обхода — ~20 000 ₽ (20 часов работы middle-разработчика по 1000 ₽/ч).
• Очистка данных (удаление дубликатов, стандартизация валют) — 5 000 ₽ (фактически 5 часов).

Итог: 300 000 × 1.5 + 1 050 + 7 500 + 20 000 + 5 000 = 483 550 ₽ за месяц. Это довольно реалистичная оценка для высоконагруженного парсинга маркетплейса.

Для статического сайта (новости, блоги, каталоги с плоским HTML) формула проще. В основе — стоимость полосы пропускания и низкие накладные расходы. Ниже таблица сравнения.

Как видите, разница — в десятки раз. Но часто сайты не чисто статические: даже в новостном портале могут быть динамические цены в статье или AJAX-загрузка комментариев. Используйте простой тест: отключите JavaScript — если страница пустая, готовьтесь к динамике.

Разработка парсера — часто самая дорогая часть, особенно если вы не разбираетесь. Есть три подхода: готовые сервисы (около 1–3 ₽ за страницу, но без кастомизации), библиотеки на Python (wget, requests + BeautifulSoup) и фреймворки (Scrapy, Puppeteer).

Пример кода для простого статического парсера (Python + requests + BeautifulSoup):

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/product/1'
response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(response.text, 'html.parser')
price = soup.select_one('.price').text.strip()
print(price)

Этот парсер стоит 0 затрат на разработку (если вы сами пишете). Но если нужен обход Cloudflare или капчи, готовьтесь к Puppeteer/Playwright:

const puppeteer = require('puppeteer');
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
const price = await page.$eval('.price', el => el.textContent);
console.log(price);
await browser.close();

На 2026 год Puppeteer всё ещё один из лучших инструментов для динамических сайтов. Но любой обход увеличивает стоимость: больше времени, больше памяти сервера.

Если хотите оценить точнее, используйте наш Калькулятор стоимости парсинга сайта.

Ошибка №1 — Не учитывать стоимость обработки данных. Парсинг — это не только сбор, но и приведение к единому формату, очистка от мусора (HTML-теги, лишние пробелы, опечатки). Зачастую обработка стоит 30% от всего бюджета.

Другие частые ошибки:

• Игнорирование ограничений robots.txt — не только этично, но и может привести к блокировке IP. Всегда парсите с уважением.
• Использование одного IP без ротации — даже если сайт не блокирует, сервер логов может забанить через 1000 запросов.
• Неправильный выбор прокси — публичные прокси медленные и часто недоступны, резидентные дорогие, но более стабильные.
• Отсутствие буфера между запросами — без имитации человеческого поведения (задержки 1–3 сек) антибот-системы распознают бота.
• Игнорирование динамических цен — если цена генерируется JS, а вы использовали requests, данные будут пустыми.

Для отладки используйте снифферы трафика (Chrome DevTools, Fiddler) или библиотеки-логировщики.

После парсинга данные нужно где-то хранить и отдавать. Если вы планируете держать парсированные данные в облаке и раздавать через API, важна стоимость CDN. Пропускная способность и запросы к хранилищу — отдельные расходы.

Для типичного проекта: 10 000 страниц по 200 КБ = 2 ГБ данных. Если парсинг ежедневный и вы храните все версии, за год набегает 730 ГБ. Хранение в S3-совместимом хранилище (Яндекс Облако, SberCloud) стоит ~0.01 ₽/ГБ в месяц, итого 0.73 ₽/мес — копейки. Но исходящий трафик уже ощутим: 1 ТБ исходящего трафика через CDN стоит от 1000 до 3000 ₽ на 2026 год.

Прикиньте объемы: 1000 пользователей, каждый скачивает по 100 страниц (20 МБ) = 20 ГБ исходящего трафика. Это около 60 ₽ за один день. Для точного расчёта используйте Калькулятор стоимости CDN.

Чтобы оптимизировать бюджет, используйте проверенные подходы:

• Пакетный режим: вместо одиночных запросов используйте асинхронные вызовы (asyncio) или многопоточность — снижает время и стоимость сервера.
• Кэширование: если данные меняются раз в день, кэшируйте HTML-страницы и перепарсите только изменившиеся блоки.
• Использование API (если есть): парсить через API часто дешевле, чем через HTML. Даже если API платный (например, Ozon API — 0.1 ₽/запрос), это может быть выгоднее, чем бороться с блокировками.
• Прокси с оплатой за мегабайт: некоторые провайдеры предлагают гибридные тарифы (фикс + за трафик) — подходит для больших объёмов.

Для типовых проектов полезно заранее оценить затраты в Калькуляторе стоимости парсинга сайта. Он позволяет ввести количество страниц, сложность и сразу получает оценку.