Форум программистов
 
Расширенный поиск
Контакты: о проблемах с регистрацией, почтой и по другим вопросам пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail.

Вернуться   Форум программистов > Web > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Excel VBA, CAD, Софт, ОС, Windows, Ubuntu, Android, VPS
Win Api, Assembler, C++, Java, Pascal, Lazarus, Delphi, OpenGL, DirectX
C#, Qt, .NET, ASP.NET, Windows Forms, ADO.NET, Framework, WPF, UWP, WinRT, XAML
HTML, CSS, JavaScript, Ajax, PHP, Perl, Python, Ruby, SQL, WordPress, API, XML, JSON, ActionScript, Flash

Ответ
 
Опции темы
Старый 18.04.2017, 00:24   #11
ADSoft
Профессионал
 
Регистрация: 25.02.2007
Адрес: Татарстан
Сообщений: 2,806
Репутация: 788

icq: 303-206-418
skype: ad-soft.info
По умолчанию

Никак. Если у тебя нет доступа к их хосту )))
ADSoft вне форума   Ответить с цитированием
Старый 18.04.2017, 00:42   #12
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,873
Репутация: 2552

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

Да, при условии что именно "внедрить" *

А так ну можно конечно отправлять запрос своему серверу, а оттуда доставать с того сайта симулируя действия пользователя HTTP запросами или вообще Selenium'ом.
Но зачем такой гемор нужен?
+ наверно заблокируют при большом числе запросов (с одного адреса же).
Alex11223 вне форума   Ответить с цитированием
Старый 18.04.2017, 01:21   #13
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 226
Репутация: 29
По умолчанию

Цитата:
Сообщение от ADSoft Посмотреть сообщение
Никак. Если у тебя нет доступа к их хосту )))
Зачем мне доступ к их хосту, если запросы их скрипт выполняет? Мне надо, чтобы их скрипт думал, что в поле запросы вводит человек, ну и потом выковыривать из DOM ответы.

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
А так ну можно конечно отправлять запрос своему серверу, а оттуда доставать с того сайта симулируя действия пользователя HTTP запросами или вообще Selenium'ом.
А зачем свой сервер нужен? Я что не могу с домашнего компьютера сделать тоже самое? Просветите)

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Но зачем такой гемор нужен?
Ну вот, такие звёзды на небе)))

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
+ наверно заблокируют при большом числе запросов (с одного адреса же).
Не заблокируют. Никто не собирается их бессовестно парсить . И запросов постоянных не будет: с десяток с интервалом в несколько секунд и то, при необходимости.

Последний раз редактировалось Alex11223; 18.04.2017 в 09:05.
Andrej_K вне форума   Ответить с цитированием
Старый 18.04.2017, 10:37   #14
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,873
Репутация: 2552

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

Цитата:
Сообщение от Andrej_K Посмотреть сообщение
А зачем свой сервер нужен? Я что не могу с домашнего компьютера сделать тоже самое?
Что именно вы сделать хотите? Какая задача?
Alex11223 вне форума   Ответить с цитированием
Старый 18.04.2017, 10:38   #15
ADSoft
Профессионал
 
Регистрация: 25.02.2007
Адрес: Татарстан
Сообщений: 2,806
Репутация: 788

icq: 303-206-418
skype: ad-soft.info
По умолчанию

Просто это уже не совсем в разделе веб-разработки будет - пишите плагин к браузеру, или какое-то десктопное приложение которое будет эмулировать работу через браузер на сайте
ADSoft вне форума   Ответить с цитированием
Старый 18.04.2017, 11:31   #16
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 226
Репутация: 29
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Что именно вы сделать хотите? Какая задача?
На сайте есть строка ввода поискового запроса (не поисковик))) ). Я хочу спарсить некоторые подсказки из неё, которые ajax-сом выпадают при вводе. Ступор в том, что подсказки действуют только когда я на их странице. Запрос виден, его можно скопировать из dev tool, вставить в адресную строку, данные приходят. Но как это автоматизировать?
Вот запрос:
http://www.site.com/api/autocomplete...=1492495477024
И что такое в конце может быть "_=1492495477024"? Увеличивается на единицу с каждым запросом в dev tool. Но если это число не менять, а только менять параметр "q=…", то тоже действует, возвращает данные в json.
Как это автоматизировать с подстановкой параметра q из своей базы? Там, вроде, привязка к window.location и проверка на реальность события (эмуляция не прокатывает).

Цитата:
Сообщение от ADSoft Посмотреть сообщение
Просто это уже не совсем в разделе веб-разработки
Да я как бы не спец, не знал, куда задать, задал сюда. Уже про Selenium и самописный эмулятор ввода с клавиатуры на Си задумываюсь… (придётся научиться, не умею пока).Но, может, всё же, найдётся решение поизящнее. Тут главное хотя бы свой скрипт как-то внедрить на их открытую страницу. Но как… Я таких задач не решал никогда.

Последний раз редактировалось Alex11223; 18.04.2017 в 12:10.
Andrej_K вне форума   Ответить с цитированием
Старый 18.04.2017, 11:47   #17
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,873
Репутация: 2552

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

1492495477024 это текущее время в unix time.

Что за подсказки такие уникальные? Не проще их самому реализовать?

Вы хотите спарсить их один раз и потом использовать у себя эту статичную базу? Тогда да, можно и без сервера.


ЗЫ вообще "парсинг" неправильное название для этого, хоть и часто используемое.
Парсер это ж только "часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста." https://ru.wikipedia.org/wiki/%D0%A1...82%D0%BE%D1%80

По английски часто называют grabber, scraper, наверно это более подходящие слова.

Цитата:
Сообщение от Andrej_K Посмотреть сообщение
на Си
А чего не сразу на ассемблере? Или вы не про C, а про C++ или вообще C#? (впрочем С++ тоже нет смысла брать для этого, проще что-то более высокоуровневое, С++ обычно берут ради производительности, а тут ж основное время будет занимать сеть, а не вычисления)
Цитата:
Сообщение от Andrej_K Посмотреть сообщение
про Selenium и самописный эмулятор ввода с клавиатуры
не надо ничего эмулировать самому, Селениум это умеет.

Последний раз редактировалось Alex11223; 18.04.2017 в 12:07.
Alex11223 вне форума   Ответить с цитированием
Старый 18.04.2017, 12:55   #18
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 226
Репутация: 29
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
1492495477024 это текущее время в unix time.
Да, я это сразу заметил, но оно увеличивается только на 1, с какой бы периодичностью я его не вводил. Вот и вопрос, почему так?

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Что за подсказки такие уникальные? Не проще их самому реализовать?
Нет, они отражают реальную статистику, которую я не могу собрать.

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Вы хотите спарсить их один раз и потом использовать у себя эту статичную базу? Тогда да, можно и без сервера.
Цели спереть (теперь правильно выражаюсь?)) ) всё нет, но иногда обращаться — да. Слишком много переть, — пока сопру, всё поменяется) Хотя, что значит переть? Я ничего не взламываю, просто заменяю ручной труд, на автоматический. Поэтому правильно будет — собрать.

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
А чего не сразу на ассемблере?
А на чём мне посылать «клавиатурные» нажатия обозревателю? На js? )

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
не надо ничего эмулировать самому, Селениум это умеет.
А к Селениуму можно БД прикрутить, чтоб сразу туда ответы писать и от туда же брать?

Последний раз редактировалось Alex11223; 18.04.2017 в 13:38.
Andrej_K вне форума   Ответить с цитированием
Старый 18.04.2017, 13:46   #19
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,873
Репутация: 2552

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

Цитата:
Сообщение от Andrej_K Посмотреть сообщение
А на чём мне посылать «клавиатурные» нажатия обозревателю? На js? )
Да.

Ну или хотя бы AutoIt/Autohotkey, но обычно не нужно.


Цитата:
Сообщение от Andrej_K Посмотреть сообщение
А к Селениуму можно БД прикрутить, чтоб сразу туда ответы писать и от туда же брать?
Селениуму нет до этого никакого дела, хоть на принтер выводите.
Это просто библиотека для автоматизации браузера. С ее помощью можно (легко) выполнить какие-то действия на сайте и извлечь какие-то данные со страницы.
По какому алгоритму выполнять действия, какие данные извлекать и куда их потом записывать решать вам.
Alex11223 вне форума   Ответить с цитированием
Старый 19.04.2017, 00:25   #20
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 226
Репутация: 29
По умолчанию

Тут выяснилось, что всё получается простым cURL-ом. Слона-то мы и не заметили))) Но это предварительная радость, не буду торопиться. Зато открыл для себя новые горизонты в виде тестирования и Selenium-а. Тоже полезно, может пригодиться.
Andrej_K вне форума   Ответить с цитированием
Ответ



Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Получить Font для подсказок (ToolTip) KOHCEPBATOP C# (си шарп) 0 21.03.2016 22:20
Ищу подсказок по VBA excel новичку stasun Microsoft Office Excel 23 03.06.2013 12:33
Программное изменение стилей подсказок в sHintManager roperd Компоненты Delphi 2 23.08.2011 18:39
StatusStrip вывод подсказок на него Casper-SC Общие вопросы .NET 12 23.02.2010 00:35
Система подсказок и поиск. GrindeX C++ Builder 3 19.11.2009 13:17




06:25.


Powered by vBulletin® Version 3.8.8 Beta 2
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.

купить трафик


как улучшить посещаемость, а также решения по монетизации сайтов, видео и приложений

RusProfile.ru


Справочник российских юридических лиц и организаций.
Проекты отопления, пеллетные котлы, бойлеры, радиаторы
интернет магазин respective.ru