Делфи. Поисковые запросы

[Алексей_2012]

Ребят, всем привет, возникла очередная идея о реализации еще одного велосипеда: приложения-поисковика, меня интересуют такие вопросы как:

1) Как именно яндекс, гугл и прочие поисковики "ныряют" в сеть для выдачи соответствия со введенным ключом?

2) indy тут, явно, не обойдешься?

Так же есть вопрос об алгоритмах поиска информации на жестком диске, за счет чего достигается столь быстрый поиск по локальному диску?

[Golden_RUS]

По первому пункту вот почитать:
http://www.seodiplom.ru/3-poiskovie-...raboti-google/
https://devaka.ru/articles/how-search-engines-work
https://support.google.com/webmaster...er/70897?hl=ru

[Stilet]

indy тут, явно, не обойдешься?

Почему? Пауки все же делают запросы. Инди или сокеты - не важно.

Как именно яндекс, гугл и прочие поисковики "ныряют" в сеть для выдачи соответствия со введенным ключом?

Они ныряют не для выдачи соответствия, а для сбора информации. Записи его в базу свою, индексации полнотекстовой. А уже когда ты делаешь запрос в гугл, прежде всего он лезет в свою базу (кеш гугла), находит подходящий контент, и выдает тебе ссылку на сайт, откуда он его взял.

вопрос об алгоритмах поиска информации на жестком диске, за счет чего достигается столь быстрый поиск по локальному диску?

Какой поиск? Имен файлов? Содержимого?

[Алексей_2012]

ПО первому вопросу: т.е. я правильно понимаю то, что нужно делать Базу Данных в первую очередь на своем пк, например, (аналог КЭШа), поиск будет выполнятся там, если не найдено, то поиск в интернете, например База данных состоит из: запроса, ссылки на сайт, или как?

Как без гугла, яндекса и прочего выполнять поиск?


ПО второму вопросу:
СОдержимого конечно, не успеваешь написать полную фразу чего-либо в поле ввода запроса, а уже найдено много.

Всегда был интересен поиск по параметрам, например три CheckBox, если выбраны все, то поиск по всем критериям, если нет, то поиск по выбранным.

Всегда интересовался этим вопросом, на словах все просто, а в реализации додумался только до использования трех и более циклов.

-составление списка для первого параметра, потом поиск в найденном по второму параметру и т.п.

но мы не об этом))

[Stilet]

я правильно понимаю то, что нужно делать Базу Данных

Я бы даже сказал - Банк Данных.

поиск будет выполнятся там, если не найдено, то поиск в интернете

Если не найдено, значит так и сообщай - не найдено, извините.
Поиск в интернете априори невозможен )
Серфинг - да, но не поиск.

Как без гугла, яндекса и прочего выполнять поиск?

Ну например тупо запрашивать в цикле все возможные IP адреса, и смотреть что они ответят. Так то тебе стоит почитать например тут: https://ru.wikipedia.org/wiki/%D0%9F...B1%D0%BE%D1%82

[Алексей_2012]

Банк данных!=База знаний?

вот еще глупый вопрос, а возможно ли выполнить серфинг рандомным вводом ip -адреса в командную строку? Ведь командная строка позволяет, например, пропинговать поисковик яндекс

[Stilet]

Не знаю )
Поисковики никогда не писал. Вернее серьезные не писал.

[Serge_Bliznykov]

Алексей, не очень хорошая идея написать поисковик "с нуля" на локальной машине. по многим причинам.

Вот, для начала ознакомьтесь с научно-популярными материалами по данной теме. Например, на том же яндексе -
Поисковые технологии
там же есть
Индексирование интернета и т.д. погуглить очень легко - информации популярной - тонны!

Технологии и алгоритмы поиска и ранжирования у каждого поисковика свои.
И разрабатывает их не один человек и нужно для этого далеко не один человеко- машинно-месяц!
Т.е. это достаточно сложно алгоритмически.
Да и многие технологии являются "ноу-хау", их детали никто не раскроет.
Нужно будет выдумывать/реализовывать самому.

во-вторых, как Вы думаете, сколько физически места занимает БАНК ДАННЫХ, в котором проиндексирован ВЕСЬ более-менее цитируемый интернет?
А вот хорошая статья от ноября 2013 года.
Архитектура Поиска Яндекса. Лекция для Малого ШАДа
цитирую:

В базе хранится около 25 миллиардов документов (214 ТБ), два раза в неделю она полностью пересчитывается.

у Вас дома есть лишних 200 террабайт для этой базы?

ну, про то, что канальчик нужно в Интернет иметь свой, очень хороший, гигабитный хотя бы, я об этом уже молчу

[Utkin]

1) Как именно яндекс, гугл и прочие поисковики "ныряют" в сеть для выдачи соответствия со введенным ключом?

Можно получать информацию от ДНС серверов о каждом имеющемся в Инете узле. Затем искать там index.htm(l), index.php или еще какой стартовый файл для входа на сервер. Потом уже парсить информацию оттуда. Начинаете с корневого, самый первый днс сервер и дальше спускаясь по нему получаете полную картину. В целом хоть Интернет это сеть, на уровне ДНС это дерево. Поэтому рекурсия это наше все.
Собственно в сеть они ныряют круглосуточно, а конкретно Ваш запрос ищется не в сети, а в базе гугла, где поиск также можно разложить на дерево, сначала первая буква слова, она ссылается на все возможные варианты второй буквы в слове (с учетом ошибки - набрали в другой раскладке), вторая содержит ссылки на все третьи буквы и т.д. Собственно Вы просто вводите ключ к записи которая содержит кучу страничек. Плюс категории от поисковика (видео, картинка, новость) плюс теги от самого ресурса плюс Ваше местоположение (у гугла тяжело получить ответ на запрос если он подозревает, что Вы из другого места) плюс частота запросов плюс еще еще какой секрет . Как видите рецепт прост. Только писать одному будет долго, нудно и неинтересно.
Вы можете выбрать альтернативный вариант и получать результаты запросов из того же гугла/яндекса/майла и т.д. Но если вы найдете рецепт как сортировать странички так, чтобы там попадалась не реклама, мусор и трояны, а сразу нужный контент, Ваш поисковик вполне мог бы стать конкурентноспособным.