|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
05.04.2022, 11:01 | #1 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 39
|
Парсер интернет-магазинов на PHP
Привет! Мне необходимо написать парсер товаров для интернет-магазинов (у нас порядка 200 товаров, по которым нужно знать актуальные цены конкурентов).
Пишу на PHP. Для этих сайтов проблем нет (отправляем нужные заголовки, куки, рефер и все ОК): - NIX - Chipdip А вот с ними уже посложнее: - Citilink // отдает заглушку и код 429 - DNS-Shop // кука ставится яваскриптом + fingerprint - Pleer // код 204 - пустая страница - Yandex Market // отдает код 200 - при этом это некий бинарный код (видимо зашифрованный) Не пойму как к ним подступиться. В браузере все ОК, а если скриптом обращаться, то лочит. Посмотрел заголовки - вроде все что нужно передаю (заголовки, куки, рефер, юзер-агент), но получаю отлуп. Если кто сталкивался с подобным - прошу помочь в решении проблемы.
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
06.04.2022, 01:52 | #2 |
Участник клуба
Регистрация: 19.01.2009
Сообщений: 1,453
|
Citilink все отлтично
Pleer все отлично Yandex Market все отлично А вот с ДНС, не все так просто, там надо либо селениумом парсить либо исполнять js скрипт, генерировать нужный key и редиректить с нужными параметрами, там все видно в коде. |
06.04.2022, 09:57 | #3 | |
Пользователь
Регистрация: 09.04.2007
Сообщений: 39
|
Цитата:
Pleer - юзер-агент Googlebot? Yandex Market - а тут какие заголовки передавались?
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
|
06.04.2022, 11:22 | #4 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 39
|
На другом хостинге вообще отдает яваскрипт и также ошибку 429, что не так в коде?
Код:
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
06.04.2022, 11:27 | #5 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 39
|
На третьем хостинге норм отработал Ситилинк - видимо у него какой-то свой блек-лист на IP
И тем не менее, остается вопрос по Yandex Market и ДНС Для ДНС как можно исполнить скрипт через PHP?
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
06.04.2022, 13:30 | #6 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 39
|
Яндекс Маркет у меня выдает какуюто ерунду
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
06.04.2022, 14:29 | #7 |
Участник клуба
Регистрация: 19.01.2009
Сообщений: 1,453
|
|
06.04.2022, 16:09 | #8 | |
Пользователь
Регистрация: 09.04.2007
Сообщений: 39
|
Цитата:
А что по ДНС можно придумать без того же селениума?
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
|
06.04.2022, 19:15 | #9 |
Участник клуба
Регистрация: 19.01.2009
Сообщений: 1,453
|
Как вариант если хочется быстро без писанины большого кода, можно использовать уже устаревший, но еще более менее годный phantomjs
|
Опции темы | Поиск в этой теме |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Разработчикам модулей интернет магазинов | TrackRu | Фриланс | 0 | 17.12.2019 10:46 |
Обновление цен интернет-магазинов | blin09 | Фриланс | 5 | 20.09.2013 07:49 |
Конструктор интернет-магазинов | dvuwka | PHP | 5 | 01.06.2011 23:39 |