![]() |
|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
![]() |
|
Опции темы | Поиск в этой теме |
![]() |
#1 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
![]()
Привет! Мне необходимо написать парсер товаров для интернет-магазинов (у нас порядка 200 товаров, по которым нужно знать актуальные цены конкурентов).
Пишу на PHP. Для этих сайтов проблем нет (отправляем нужные заголовки, куки, рефер и все ОК): - NIX - Chipdip А вот с ними уже посложнее: - Citilink // отдает заглушку и код 429 - DNS-Shop // кука ставится яваскриптом + fingerprint - Pleer // код 204 - пустая страница - Yandex Market // отдает код 200 - при этом это некий бинарный код (видимо зашифрованный) Не пойму как к ним подступиться. В браузере все ОК, а если скриптом обращаться, то лочит. Посмотрел заголовки - вроде все что нужно передаю (заголовки, куки, рефер, юзер-агент), но получаю отлуп. Если кто сталкивался с подобным - прошу помочь в решении проблемы.
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
![]() |
![]() |
![]() |
#2 |
Участник клуба
Регистрация: 19.01.2009
Сообщений: 1,454
|
![]()
Citilink все отлтично
Pleer все отлично Yandex Market все отлично А вот с ДНС, не все так просто, там надо либо селениумом парсить либо исполнять js скрипт, генерировать нужный key и редиректить с нужными параметрами, там все видно в коде. |
![]() |
![]() |
![]() |
#3 | |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
![]() Цитата:
Pleer - юзер-агент Googlebot? Yandex Market - а тут какие заголовки передавались?
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
|
![]() |
![]() |
![]() |
#4 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
![]()
На другом хостинге вообще отдает яваскрипт и также ошибку 429, что не так в коде?
Код:
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
![]() |
![]() |
![]() |
#5 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
![]()
На третьем хостинге норм отработал Ситилинк - видимо у него какой-то свой блек-лист на IP
И тем не менее, остается вопрос по Yandex Market и ДНС Для ДНС как можно исполнить скрипт через PHP?
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
![]() |
![]() |
![]() |
#6 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
![]()
Яндекс Маркет у меня выдает какуюто ерунду
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
![]() |
![]() |
![]() |
#7 |
Участник клуба
Регистрация: 19.01.2009
Сообщений: 1,454
|
![]() |
![]() |
![]() |
![]() |
#8 | |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
![]() Цитата:
А что по ДНС можно придумать без того же селениума?
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
|
![]() |
![]() |
![]() |
#9 |
Участник клуба
Регистрация: 19.01.2009
Сообщений: 1,454
|
![]()
Как вариант если хочется быстро без писанины большого кода, можно использовать уже устаревший, но еще более менее годный phantomjs
|
![]() |
![]() |
![]() |
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Разработчикам модулей интернет магазинов | TrackRu | Фриланс | 0 | 17.12.2019 10:46 |
Обновление цен интернет-магазинов | blin09 | Фриланс | 5 | 20.09.2013 07:49 |
Конструктор интернет-магазинов | dvuwka | PHP | 5 | 01.06.2011 23:39 |