Если вашего бота ловит Cloudflare...
-
Даже если вы отправляете точь-в-точь такие же headers и cookies... С точно такого же айпи, но в браузере сайт открывается, а используя автоматизированные запросы (curl или средства вашего языка) - нет.
То дело вот в чём: практически все сайты сейчас работают по защищенному протоколу https, а для его установки нужен предварительный обмен сертификатами TLS-handshaking.
Прикол в том, что этот обмен сильно отличается у браузера и в настройках по умолчанию средств вашей системы, именно его палит cloudflare и даёт отлуп вашему ботику.
Решение простое: добрые люди сделали специальную версию curl, которая полностью имитирует TLS-handshake актуальных браузеров: https://github.com/lwthiker/curl-impersonate
Проверено, работает, да и как ему не работать, когда теперь всё такое же как в браузере...
