Блокируют при парсинге.

[Schmiss]

Привет.
Пытаюсь парсить один сайт. После выкачки пары страниц происходит блокировка, как я думаю, по ip, т.к. потом и с браузера своего войти не могу.
Пишу на php с curl.
Предложения использовать sleep() не принимаются, ибо нужна не просто выкачка информации, но и частое её обновление.
Много изрыл интернета, но так ничего толкового не нашёл.
Пытался использовать прокси, но они периодически не работают, а нужна стабильная работа скрипта.
Пишите Ваши предложения, буду очень благодарен.

[Кольша]

Желательно бы увидеть ваш код прежде чем что то писать..

[BDA]

Может у сайта существует api. С помощью него Вам, возможно, будет удобнее получать данные.

[Schmiss]

Сообщение от Кольша

Желательно бы увидеть ваш код прежде чем что то писать..

Пожалуйста. Вот класс - http://rghost.ru/43440220.
Использую, как:
$getter = new Httpget(0);
$content = $getter->getContent(...);
Остальной код, думаю, будет лишним.

[Schmiss]

Сообщение от BDA

Может у сайта существует api. С помощью него Вам, возможно, будет удобнее получать данные.

Исключено. Не настолько я глуп

[Mortimoro]

Для начала размести у себя php-файлик типа:

PHP код:

print_r($_SERVER); 
print_r(get_browser(null, true)); //если не работает, добро пожаловать в гугль 


постучись на него браузером, затем своим скриптом, найди 10 отличий.
Скорее всего, в твоем случае этого будет достаточно, но еще могут проверять аяксом и на частоту запросов - если пользователь создает более 4 запросов в секунду (или более 20 на протяжении 5 секунд) и аяксом не обрабатывается проверочный скрипт, то перед нами однозначно робот и его можно смело банить.
Еще сайт может пытаться куки тебе впарить, а ты их не принимаешь. И ответы сайта считывай в файл, может он сам тебе 10 раз подряд сказал что он от тебя хочет, а ты продолжаешь тупо долбиться.