реклама

Сбор данных

Код, режимы смены адреса, капча и автоматизации: всё, что относится к прогонам.

• Прокси в Python и curl: requests, httpx, Scrapy, Selenium и разбор ошибок настройкиПрокси в коде это промежуточный сервер, адрес которого клиент подставляет перед обращением к целевому хосту: запрос уходит на прокси, прокси открывает
• Ротация IP: смена адреса по таймеру, на каждый запрос и удержание сессииРотация адресов это автоматическая смена выходного IP при работе через прокси: клиент обращается по одной и той же строке подключения, а трафик выходи
• Капча при парсинге: почему площадка её показывает и как снизить частотуКапча при сборе данных это проверочное окно, которое площадка отдаёт вместо запрошенной страницы, когда счётчики её защитного слоя посчитали поток зап
• n8n прокси и Make: как отправить HTTP Request через прокси и поставить сценарий на расписаниеПрокси в сценарии автоматизации это промежуточная точка, через которую узел отправляет исходящий запрос: клиент соединяется с ней, она обращается к пл

Прогоны из этого раздела упираются в темп и в трафик раньше, чем в код. Под такие задачи держу отдельно адреса под сбор данных с безлимитным трафиком.