|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
03.11.2020, 22:45 | #1 |
Пользователь
Регистрация: 13.11.2012
Сообщений: 11
|
Парсинг сайта. Задачка на засыпку.
Приветствую всех гуру.
Вопрос не привязан к конкретному языку программирования, не знал в какой раздел лучше его разместить. Проблема в следующем - был парсер, который парсил сайт вайлдберис для сбора статистики. Анализировалась конкретная категория и просматривались страницы с товарами в порядке увеличения по сути переходя по ссылкам увеличивая номер страницы "?page=1" и так далее. Парсер работал до недавнего времени. Сейчас, если, перейти на первую страницу какой то категории, к примеру на эту https://www.wildberries.ru/catalog/a...a-volos?page=1 а потом изменить номер страницы, например на 2, то мы снова увидим товары с первой страницы, хотя в ссылке вверху будет стоять ?page=2. Аналогично если перейти вниз страницы и нажать номер страницы не левой кнопкой мыши а к примеру открыть ссылку в новой вкладке - ссылка будет для второй страницы, но товары будут с первой. И так изменяя номер страницы вручную или открывая в новой вкладке мы будем иметь товары с первой страницы. Однако если левой кнопкой нажимать номер страницы внизу, товары будут открываться новые. Есть ещё один момент: Откройте каталог, перейдите внизу страницы на какую нибудь другую страницу. Перейдите на страницу какого то товара. После этого в браузере нажмите НАЗАД. Вы вернётесь на список товаров с первой страницы хотя в ссылке будет та страница которую вы выбрали. В общем, что называется перемудрили. Собственно вопрос: пожалуйста, помогите понять как можно загрузить следующую страницу (HTML код) с товарами в парсере в данной ситуации. Перебирал разные варианты, но решения к сожалению не нашёл. |
04.11.2020, 08:01 | #2 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,177
|
Скорее всего они перешли к Аякс погрузке содержимого по клику. Без привязки к адресной строке
Смотрите в инструменты разработчика по f12, xhr запросы, увидите по какому адресу обращается и с какими параметрами |
04.11.2020, 13:19 | #3 |
Программист
Участник клуба
Регистрация: 23.06.2009
Сообщений: 1,772
|
У меня вообще никаких страниц нет. Все товары показываются одной лентой по мере прокрутки
|
04.11.2020, 22:32 | #4 | |
Пользователь
Регистрация: 13.11.2012
Сообщений: 11
|
Цитата:
Насчёт запросов по F12 - да, я их смотрел, но ссылки там содержат какие то коды, которые отвечают за состав товаров на странице, сложно понять какие коды нужно прописать в запросе чтобы получить то что нужно. |
|
04.11.2020, 23:48 | #5 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,177
|
А кто сказал что должно быть легко?
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Парсинг сайта. | Lazarr | Фриланс | 2 | 30.05.2019 19:01 |
Парсинг сайта | Sumy-ua | C# (си шарп) | 4 | 06.03.2015 15:05 |
Парсинг сайта | bodqa | C# (си шарп) | 3 | 01.04.2013 14:31 |
парсинг сайта | Jadson | Работа с сетью в Delphi | 0 | 14.05.2012 23:30 |
Парсинг сайта | AnToHa-KiLL | Общие вопросы Delphi | 3 | 30.06.2009 08:22 |