IdHTTP.GET выдаёт ошибку HTTP/1.1 403 Forbidden

[cr@nk]

Этот вопрос я задавал на другом форуме, но там тишина

Была написана утилита для парсинга сайта 1с
В апреле сайт ддосили. На сайт добавили какую-то защиту и утилита перестала работать.
Я пробовал прописать юзерагент с реального браузере - не помогает. Много чего пробовал...

Блок авторизации проходит, а дальше страница не открывается - ошибка 403
Вынес проблемную часть в отдельный проект (на Delphi 10.4)
Там введены рабочие тестовые логин и пароль
С ними проходит успешная авторизация (и в проекте и в браузере).

[Valick]

В наше время даже у чайника есть API. Неужели у сайта его нет? Что за сайт-то? По продаже каменных топоров и шкур мамонта?
Упс, сайт 1с - это прям реально сайт 1с, я думал просто сайт на битрихе. Так почему вопрос на форум, а не в техподдержку 1с?

[cr@nk]

Скажем так... общался с саппортом 1с именно по вопросам 1с - всё печально

А на вопрос: почему я ваш сайт парсить больше не могу админы/разрабы сайта отвечать и не обязаны. И API никто не даст (если оно есть). Это была утилита, написанная для автоматизации

[macomics]

Может стоит прочитать описание ошибки, прежде чем задавать такие вопросы

[cr@nk]

Сообщение от macomics

Может стоит прочитать описание ошибки, прежде чем задавать такие вопросы

Само собой, что ошибку эту понимаю. По вашей ссылке очень понятно написано

ограничения были заданы администратором сервера или разработчиком веб-приложения и могут быть любыми

Я примерно это и имел ввиду, когда писал, что добавили защиту. Как обойти ограничения?
Варианты с написанием собственного браузера не рассматриваю

Сейчас попробовал спарсить сайт через утилиту xidel - получилось. Поставил в исходниках UA: Opera и вроде бы тоже пошло (хотя недели полторы назад я это пробовал одним из первых способов).

Через несколько часов снова всё отвалилось. Мистика

[cr@nk]

Всё же это скорее всего какая-то "умная" защита на стороне сервера
10 и 11 июня (почти сутки) пример из 1 поста работал (я получал данные с сервера)
Потом снова начал получать ошибку 403 (по текущий момент). Пробовал запустить проект с другого компа (вдруг бан по IP) - 403
С браузера пускает исправно
Утилита xidel тоже парсит, авторизуется без проблем с любого "проблемного" компа

[hexor_boo]

Сообщение от cr@nk

Всё же это скорее всего какая-то "умная" защита на стороне сервера
10 и 11 июня (почти сутки) пример из 1 поста работал (я получал данные с сервера)
Потом снова начал получать ошибку 403 (по текущий момент). Пробовал запустить проект с другого компа (вдруг бан по IP) - 403
С браузера пускает исправно
Утилита xidel тоже парсит, авторизуется без проблем с любого "проблемного" компа

А не использует ли утилита xidel какие-либо явные или скрытые списки прокси-серверов для парсинга с показом IP вплоть до разных стран?