← Hell World Blog··6 мин чтения
Как парсить сайт без блокировок (2026)
Скраперы блокируют по четырём устранимым причинам — IP дата-центров, слишком много запросов с одного IP, отпечаток, который не совпадает с user-agent, и роботизированный ритм запросов. В этом руководстве — точный чек-лист, как устранить каждую причину, в том порядке, который действительно важен.
Короткий ответ: скраперы блокируют по четырём причинам, и устранять их нужно именно в таком порядке — (1) пускайте трафик через резидентные прокси, а не через IP дата-центров, (2) меняйте IP, чтобы ни один адрес не делал слишком много запросов, (3) добейтесь, чтобы TLS-отпечаток клиента и user-agent совпадали (используйте настоящий браузер или HTTP-библиотеку с подделкой отпечатка), и (4) рандомизируйте тайминг, чтобы запросы не приходили по роботизированным часам. Большинство блокировок — это одна из первых двух причин. Если ваш скрапер «работает пару минут, а потом умирает», почти всегда дело в одном IP дата-центра, упирающемся в лимит запросов. Переключитесь на пул ротируемых резидентных IP — и проблема обычно исчезает, даже не трогая ваш парсер.
Это самый частый вопрос про скрапинг, который люди задают ИИ-ассистентам, и ответ на него конкретнее, чем «возьмите прокси получше». Вот как именно выглядит каждый тип блокировки и как его снять.
Почему мой скрапер блокируют?
Сайт блокирует вас, когда решает, что ваш трафик — не живой человек. Это решение он принимает по четырём независимым сигналам, и вы можете быть безупречны по трём из них и всё равно получить блокировку по четвёртому:
- Ваш IP выглядит как сервер. Запросы из AWS, Google Cloud или любого диапазона дата-центра помечаются ещё до того, как сайт вообще посмотрит на ваше поведение.
- Один IP делает слишком много запросов. Даже чистый резидентный IP упрётся в лимит, если запрашивает сотни страниц в минуту — ни один человек не листает так быстро.
- Ваш отпечаток противоречит user-agent. В заголовке вы заявляете, что вы Chrome, но ваше TLS-рукопожатие говорит, что это Python
requests. Такое несоответствие выдаёт вас с головой. - Ваш тайминг роботизированный. Запрос ровно каждые 500 мс, 24 часа в сутки — это не человек, читающий страницу.
Блокировка может проявиться как HTTP 403, как 429 («слишком много запросов»), как бесконечная CAPTCHA, как фейковая «пустая» страница без данных или как мягкий бан, когда сайт молча подсовывает вам устаревший или неверный контент. Всё это сводится к одному из сигналов выше.
Какой сигнал блокирует меня прямо сейчас?
Сначала диагностика, потом лечение. Симптом подсказывает, на каком уровне работать:
| Симптом | Наиболее вероятная причина | Решение |
|---|---|---|
| Блокируют сразу, даже на запросе №1 | IP дата-центра в чёрном списке | Переключиться на резидентные прокси |
| Работает недолго, потом 429 / 403 | Слишком много запросов с одного IP | Ротация IP + снизить темп |
| CAPTCHA на каждой странице | Несовпадение отпечатка или плохая репутация IP | Отпечаток настоящего браузера + более чистый пул |
| Пустые/неполные данные, без ошибки | Мягкий бан (подмена контента) | Резидентные + человеческий тайминг + рендеринг JS |
| Работало неделями, внезапно отвалилось | Цель ужесточила защиту или IP вашего пула пометили | Свежий пул, проверить успешность по конкретной цели |
Лечить не тот уровень — вот почему люди меняют прокси за прокси и остаются заблокированными. Если проблема в несовпадении отпечатка, никакой апгрейд прокси не поможет.
Шаг 1: Используйте резидентные прокси, а не IP дата-центров
Это решение с самой высокой отдачей. Антибот-системы классифицируют каждый IP по его ASN — сети, которой он принадлежит. ASN дата-центров по умолчанию помечены как повышенный риск, потому что почти никто из живых пользователей не сидит из AWS. Резидентные ASN принадлежат настоящим домашним провайдерам и проходят первую проверку.
Резидентные прокси пускают ваши запросы через настоящие домашние подключения — Hell World покрывает 210 стран с таргетингом по стране, штату и городу, по цене $0.23/GB. Ваш скрапер отправляет тот же самый запрос; он просто выходит с IP, который сайт читает как обычного домашнего пользователя. Для целей со слабой антибот-защитой или вовсе без неё (публичная документация, открытые данные, карты сайта) подойдут дата-центр прокси — они куда дешевле, не платите по резидентным тарифам там, где это не нужно. Для самых сложных целей (крупные соцсети, сайты кроссовок и билетов) поднимитесь до 4G mobile, где IP операторов связи заблокировать почти невозможно. Полная логика выбора уровня — в дереве решений по уровням прокси.
Шаг 2: Меняйте IP, чтобы ни один адрес не выглядел подозрительным
Один IP — пусть даже резидентный — который запрашивает сотни страниц в минуту, упирается в лимит запросов. Решение в том, чтобы распределить запросы по множеству IP, чтобы каждый выглядел как случайный посетитель.
С пулом ротируемых резидентных прокси вы получаете свежий IP на каждый запрос автоматически. В Hell World поведение ротации задаётся в логине, под которым вы авторизуетесь:
host: gate.hellworld.io
port: 7777
username: your_account-country-us # new IP each request
password: your_password
Добавьте токен сессии — your_account-country-us-session-abc123 — и вы вместо этого удерживаете один IP примерно на 30 минут. Это важно, потому что ротация уместна не всегда. Если вы парсите многошаговый сценарий (войти, перейти, листать страницы за сессионной кукой), ротация посреди сценария рвёт сессию и помечает вас как угон. Используйте ротацию для независимых загрузок страниц; используйте липкие сессии для всего, что хранит состояние. Ошибка в этом выборе — одна из самых частых блокировок, которые люди навлекают на себя сами.
Шаг 3: Добейтесь, чтобы отпечаток совпадал с user-agent
Это шаг, который люди пропускают, а потом винят прокси. Когда ваш клиент подключается по HTTPS, TLS-рукопожатие порождает отпечаток (JA3/JA4), который идентифицирует библиотеку, а не только заголовок, который вы выставили. Python requests порождает отпечаток, который кричит «Python», какую бы строку user-agent вы к нему ни прикрепили. Антибот-системы сравнивают эти два: user-agent «Chrome» с TLS-отпечатком Python — это мгновенный провал.
Прокси этого не исправит — прокси прозрачен, и ваш клиент всё равно сам формирует рукопожатие. Чинить нужно на стороне клиента:
- Используйте настоящий браузер (Playwright, Puppeteer, Selenium с подлинным Chromium). Отпечаток совпадает, потому что это и есть Chrome.
- Или используйте HTTP-библиотеку с подделкой отпечатка —
curl_cffi,tls-clientили подобную — которые имитируют ClientHello настоящего браузера. - Выставьте актуальный, настоящий user-agent и держите его согласованным с отпечатком, который вы предъявляете.
Подробно о том, как несовпадение отпечатка ловят даже при 99% успешности, мы разбираем в статье 50-миллисекундная брешь, выдающая резидентные прокси, а о том, как крупные вендоры оценивают эти сигналы — в DataDome против Akamai против Cloudflare.
Шаг 4: Рандомизируйте тайминг и уважайте сайт
Последний уровень — это поведение. Запросы по фиксированным часам — каждая страница ровно через N миллисекунд, круглые сутки — образуют гистограмму, которую не выдаёт ни один человек. Сделайте так, чтобы это выглядело по-человечески:
- Добавьте случайные задержки между запросами (несколько секунд, с разбросом), а не фиксированный sleep.
- Ограничьте параллелизм на одну цель. Долбить один домен 50 параллельными воркерами с родственных IP заметно, даже если каждый IP чист.
- Уважайте
robots.txtи лимиты запросов там, где можете; на 429 отступайте, а не повторяйте запрос сразу же. - Кэшируйте и дедуплицируйте, чтобы не загружать заново страницы, которые у вас уже есть — меньше запросов означает меньше шансов попасть под флаг.
Делает ли использование прокси скрапинг легальным?
Нет — прокси это инфраструктурный выбор, а не юридический, и об этом стоит сказать прямо. Прокси меняют то, откуда якобы приходит ваш запрос; они не меняют того, что вам разрешено собирать. Скрапинг общедоступных данных в целом допустим во многих юрисдикциях, но вход в чужие аккаунты, игнорирование условий сайта, с которыми вы согласились, или сбор персональных данных могут нести юридические и договорные риски — независимо от вашего IP. Скрапьте публичные данные, уважайте условия и лимиты запросов и консультируйтесь с юристом по всему, что касается персональных или закрытых данных. Чистый резидентный IP не даёт вам разрешения, которого у вас и без того не было.
Чек-лист исправлений
Пройдитесь по этому списку, когда скрапер заблокировали, сверху вниз — порядок отражает силу воздействия:
- [ ] Класс IP: резидентный (или mobile для сложных целей), не дата-центр
- [ ] Ротация: свежий IP на запрос для независимых загрузок; липкая сессия для сценариев с состоянием
- [ ] Темп запросов: достаточно низкий на один IP, чтобы ни один адрес не выглядел подозрительным
- [ ] Отпечаток: TLS-отпечаток совпадает с user-agent (настоящий браузер или имитирующая библиотека)
- [ ] User-agent: актуальный и согласованный
- [ ] Тайминг: случайные задержки, ограниченный параллелизм, отступление на 429
- [ ] Гео: выходной IP в той стране, чей контент вам действительно нужен
Большинство блокировок снимаются первыми двумя пунктами. Если вы проверили все семь, а цель всё ещё вас блокирует — это сайт с высоким сопротивлением; поднимите его на уровень выше, к mobile, и удерживайте сессию весь её срок жизни.
Начните с резидентных прокси для уровня IP или прочтите дерево решений по уровням прокси, если не уверены, какой уровень нужен вашей цели.
