Форум программистов
 
Регистрация на форуме тут, о проблемах пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail, а тут можно восстановить пароль

Купить рекламу на форуме 15-35 тыс рублей в месяц

Вернуться   Форум программистов > Delphi программирование > Работа с сетью в Delphi
Регистрация

Восстановить пароль
Повторная активизация e-mail

Ответ
 
Опции темы Поиск в этой теме
Старый 10.06.2022, 16:32   #1
cr@nk
 
Регистрация: 15.01.2011
Сообщений: 5
По умолчанию IdHTTP.GET выдаёт ошибку HTTP/1.1 403 Forbidden

Этот вопрос я задавал на другом форуме, но там тишина

Была написана утилита для парсинга сайта 1с
В апреле сайт ддосили. На сайт добавили какую-то защиту и утилита перестала работать.
Я пробовал прописать юзерагент с реального браузере - не помогает. Много чего пробовал...

Блок авторизации проходит, а дальше страница не открывается - ошибка 403
Вынес проблемную часть в отдельный проект (на Delphi 10.4)
Там введены рабочие тестовые логин и пароль
С ними проходит успешная авторизация (и в проекте и в браузере).
Вложения
Тип файла: zip 1c.zip (2.64 Мб, 2 просмотров)
cr@nk вне форума Ответить с цитированием
Старый 10.06.2022, 16:47   #2
Valick
Форумчанин
 
Регистрация: 27.04.2022
Сообщений: 152
По умолчанию

В наше время даже у чайника есть API. Неужели у сайта его нет? Что за сайт-то? По продаже каменных топоров и шкур мамонта?
Упс, сайт 1с - это прям реально сайт 1с, я думал просто сайт на битрихе. Так почему вопрос на форум, а не в техподдержку 1с?

Последний раз редактировалось Valick; 10.06.2022 в 16:53.
Valick на форуме Ответить с цитированием
Старый 10.06.2022, 17:03   #3
cr@nk
 
Регистрация: 15.01.2011
Сообщений: 5
По умолчанию

Скажем так... общался с саппортом 1с именно по вопросам 1с - всё печально

А на вопрос: почему я ваш сайт парсить больше не могу админы/разрабы сайта отвечать и не обязаны. И API никто не даст (если оно есть). Это была утилита, написанная для автоматизации
cr@nk вне форума Ответить с цитированием
Старый 10.06.2022, 17:55   #4
macomics
Форумчанин
 
Регистрация: 17.04.2022
Сообщений: 899
По умолчанию

Может стоит прочитать описание ошибки, прежде чем задавать такие вопросы
macomics вне форума Ответить с цитированием
Старый 10.06.2022, 19:39   #5
cr@nk
 
Регистрация: 15.01.2011
Сообщений: 5
По умолчанию

Цитата:
Сообщение от macomics Посмотреть сообщение
Может стоит прочитать описание ошибки, прежде чем задавать такие вопросы
Само собой, что ошибку эту понимаю. По вашей ссылке очень понятно написано
Цитата:
ограничения были заданы администратором сервера или разработчиком веб-приложения и могут быть любыми
Я примерно это и имел ввиду, когда писал, что добавили защиту. Как обойти ограничения?
Варианты с написанием собственного браузера не рассматриваю

Сейчас попробовал спарсить сайт через утилиту xidel - получилось. Поставил в исходниках UA: Opera и вроде бы тоже пошло (хотя недели полторы назад я это пробовал одним из первых способов).

Через несколько часов снова всё отвалилось. Мистика

Последний раз редактировалось cr@nk; 11.06.2022 в 00:00.
cr@nk вне форума Ответить с цитированием
Старый 12.06.2022, 07:56   #6
cr@nk
 
Регистрация: 15.01.2011
Сообщений: 5
По умолчанию

Всё же это скорее всего какая-то "умная" защита на стороне сервера
10 и 11 июня (почти сутки) пример из 1 поста работал (я получал данные с сервера)
Потом снова начал получать ошибку 403 (по текущий момент). Пробовал запустить проект с другого компа (вдруг бан по IP) - 403
С браузера пускает исправно
Утилита xidel тоже парсит, авторизуется без проблем с любого "проблемного" компа
cr@nk вне форума Ответить с цитированием
Старый 24.06.2022, 21:32   #7
hexor_boo
Разъяснятор
Пользователь
 
Аватар для hexor_boo
 
Регистрация: 21.04.2022
Сообщений: 31
По умолчанию

Цитата:
Сообщение от cr@nk Посмотреть сообщение
Всё же это скорее всего какая-то "умная" защита на стороне сервера
10 и 11 июня (почти сутки) пример из 1 поста работал (я получал данные с сервера)
Потом снова начал получать ошибку 403 (по текущий момент). Пробовал запустить проект с другого компа (вдруг бан по IP) - 403
С браузера пускает исправно
Утилита xidel тоже парсит, авторизуется без проблем с любого "проблемного" компа
А не использует ли утилита xidel какие-либо явные или скрытые списки прокси-серверов для парсинга с показом IP вплоть до разных стран?
hexor_boo вне форума Ответить с цитированием
Ответ
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Ошибка HTTP:/1.1. 403 Forbidden leonfury95 Софт 0 08.06.2015 23:54
Сервер возвращает HTTP/1.1 403 Forbidden Tip.the.besT Работа с сетью в Delphi 1 01.06.2015 14:26
C++ Builder - использование TIdConnectThroughHttpProxy для http-прокси в TIdTCPClient: ошибка "403 forbidden" SeerRus C++ Builder 0 22.12.2014 17:13
Помогите найти ошибку - StrToFloat выдаёт ошибку EConvertError для ячеек StringGrid (Delphi) Artsiom Помощь студентам 10 18.12.2013 14:10
HTTP/1.1 403 Forbidden TwiX Работа с сетью в Delphi 2 18.02.2010 23:18