|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
20.04.2018, 12:44 | #1 |
Новичок
Джуниор
Регистрация: 08.12.2015
Сообщений: 1
|
Создание поисковой системы, используя Google и Яндекс
Нужно написать поисковую систему, которая используя поиск Гугла и Яндекса, выдает результаты поиска и спарсить содержимое с данных ссылок.
Для гугла результаты выдаются хорошо и постоянно, а вот для Яндекса, один запрос в день, как можно исправить данную ситуацию? Вот код: Снимок5.PNG И второй вопрос. Парсинг, тоже работает странно. Ссылок гугла выдает к примеру 30,а у яндекса 25,в сумме 55, а парсятся всего ссылок 10-15. И как сделать,чтобы муссор(ввиде тегов не парсился). Проблема в том, что ссылок много и с них всех нужно считать информацию. Код: Снимок4.jpg Снимок2.jpg Снимок1.PNG Снимок3.PNG ______________________ Используйте тег [CODE] (кнопка с решеткой # в форме сообщения) при вставке кода на форум, а не картинки. И не злоупотребляйте форматированием. Последний раз редактировалось ЕкатеринаБр; 20.04.2018 в 13:50. |
20.04.2018, 13:38 | #2 |
Квадрокоптерист
Участник клуба Подтвердите свой е-майл
Регистрация: 29.09.2007
Сообщений: 1,824
|
На сколько я помню у яндекса был API у гугла не помню. если Ваш скрипт будет часто дергать страницу, выскочит капча от ботов.
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
|
24.04.2018, 22:22 | #3 |
Форумчанин
Регистрация: 05.09.2017
Сообщений: 157
|
Совершенно точно, Яндекс.XML называется (https://habr.com/post/116479/ - пример работы из .Net среды). Надо регистрировать свой IP-адрес и подписывать лицензионное соглашение, иначе будет сначала капча, потом бан.
Гугль тоже забанит при большом количестве запросов. ЕкатеринаБр, гуглите "Метапоисковая система", это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счет смешивания и переранжирования результатов поиска других поисковых систем.
Безопасность с Content Security Policy
Последний раз редактировалось Ottava; 24.04.2018 в 22:25. |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
C# Разработка информационно-поисковой системы (windows forms) | natali75675 | Фриланс | 7 | 11.04.2016 22:01 |
Написать движок поисковой системы | SilverLord | Фриланс | 0 | 14.05.2012 18:12 |
Создание поисковой системы | L_Anya | Помощь студентам | 1 | 28.10.2011 23:18 |
Создание поисковой системы для программистов | tarpedo | Свободное общение | 21 | 16.07.2009 16:22 |