Как поисковик выводит статьи

[Илья37]

Вопрос такой, как поисковик находит определённые статьи если они находятся в базе данных, то есть
почему в поисковике выводится не главная страница сайта а определенные статьи которые пользователь вбивает в поисковик, как он (поисковик например google) определяет что находится в базе данных. возможно вопрос задан не корректно и для кого то тупо но все же.

[Pavia]

Поисковик содержит большое число компьютеров которые посещают все сайты в интернете так называемые поисковые сканеры или пауки. Они обходят интернет посещая страницу за страницей. На странице сканер ищет ссылки они всегда начинаются либо с http|https|ftp|www.
Найдя ссылки поисковик складывает ссылки к себе в список помечая которые он уже посетил, а какие ещё нет.

Что касается вычитывание статей из базы данных, то популярные движки сайтов предоставляют API для поисковиков и те ими пользуются. Это ускоряет обход интернета.

Гугл вычитывает весь интернет к себе отсеивает всякий мусор оставляя только текст из статей.
Далее это всё сжимается и хранится в обратном индексе.


Вот тут у меня подборка статей по данной тематике
https://yadi.sk/d/KrHZiJ8nXZpCNw

Из книг:
1) Хараламбос Марманис, Дмитрий Бабенко. - Алгоритмы интеллектуального Интернета
2) Тоби Сегаран. -Программируем коллективный разум
3) Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И.-Технологии анализа данных_ Data Mining, Visual Mining, Text Mining, OLAP_ учебное пособие по специал

[Desc]

Лис,вот это Ты нагрузил. А метаданные тогда для чего втюхиваем?

[Alar]

Сообщение от Илья37

очему в поисковике выводится не главная страница сайта

Поисковику в идеале всё равно какая страница, главная или нет, для него это просто страница.

[Pavia]

Илья37
Забыл сказать. Что для того что-бы поисковик начал индексировать Ваш сайт его надо добавить в поисковик иначе он не будет вас индексировать.

Desc

Сообщение от Desc

вот это Ты нагрузил. А метаданные тогда для чего втюхиваем?

Согласен, что нагрузил. Перед сном не было было желание расписывать в подробностях.

Вы про тег мета с ключевыми словами? Метаданные поисковик тоже оставляет. Он и картинки анализирует. Я же не уточнил что он считает мусором, а что полезным данными.

Хотя я бы на месте Гугла метеоданные бы выкинул. Так как человек их не видит и ему они бесполезны, а поисковик по большей части сортирует выдачу на основе частных настроек сайта, сделанных в недрах https://g.co/webmasters/ . Это раньше метаданные нужны были для улучшения сортировки при выдачи заменяя собой семантический анализ, а с изобретением алгоритма Word2vec необходимость в них отпала.

В выдаче Яндекса метаданные до сих пор играют важную роль.Только потому что специально обученные человек (SEO-оптимизатор) способен подбирать метаданные лучше чем это делает автоматика. Не хватает мощи Яндексу, а вот у Гугла её полно. И у них с приходом глубинных нейронных сетей всё это может утратить актуальность, если уже не утратило.

[Desc]

Выходит что современному гуглу на то что после тега meta глубоко бобарабану, и он индексирует все содержимое страницы?

[Илья37]

[QUOTE=Pavia;1810576]Илья37
Забыл сказать. Что для того что-бы поисковик начал индексировать Ваш сайт его надо добавить в поисковик иначе он не будет вас индексировать.
то есть просто выложить сайт на хостинг мало???

[Илья37]

Сообщение от Pavia

Илья37
Забыл сказать. Что для того что-бы поисковик начал индексировать Ваш сайт его надо добавить в поисковик иначе он не будет вас индексировать.

то есть просто выложить сайт на хостинг мало?

[Pavia]

Desc

Сообщение от Desc

Выходит что современному гуглу на то что после тега meta глубоко бобарабану, и он индексирует все содержимое страницы?

Это надо спрашивать у тех кто профессионально занимается раскруткой сайтов. Но я предполагаю что так. На данный момент используется техники извлечения фактов, а они действуют по абзацам. Единичные слова и предложения им уже не интересны. Разве что поиск новых слов.


Илья37

Сообщение от Илья37

то есть просто выложить сайт на хостинг мало?

Именно, мало. Если не добавить свой сайт то поисковики не будут заглядывать на Ваш сайт, а в лучшем случае найдёт единичные страницы. Как добавить можно прочитать здесь
https://support.google.com/webmaster...er/34397?hl=ru
https://yandex.ru/support/webmaster/robot-workings/

Некоторые хостеры предоставляют бесплатную услугу по добавления в поисковики.

Да и вообще нужно о себе заявить, про рекламировать себя и раскрутить.

[Alar]

Сообщение от Pavia

Именно, мало

не мало, гуглхромом по сайту походите или фаерфоксом - всё и сольётся куда надо), давно это работало так, очень давно.

Также можно на любом ресурсе кинуть ссылку на ваш сайт, это чтобы типа наверняка и трастовость заодно прокачать выше нуля.

Некоторые хостеры предоставляют бесплатную услугу по добавления в поисковики.

какие-то услуги устаревшие из 90-х )
лучше из 00-х рассказать про прогон по каталогам сайтов )