|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
25.07.2019, 14:03 | #1 |
мальчик-помогай =)
Форумчанин
Регистрация: 16.09.2010
Сообщений: 522
|
Логика robots.txt
Доброе время суток.
Так уж вышло, что нужно срочно поправить robots.txt, но опыта в этом нету и экспериментировать нет возможности. Да, есть спецификация, но вдруг что-то не так пойму и минус сайт из поисковика. 1) Наследуются ли правила от User-agent: * другими User-agent-ами или нужно их дублировать? 2) Правила влияют на скачиваемые данные или лишь на индексацию? Скажем, я запрещу всё, кроме страниц .html, но поисковик "поймёт" что у страницы есть некая главная картинка (хоть бы из микроразметки) - сможет ли робот эту картинку отобразить или она запрещена? Аналогично со стилями и шрифтами, если вдруг робот их учитывает в работе (опять же, просто уточняю, хоть предполагаю что прям рендеринг страниц роботы не проводят) 2.1) Можно ли запретить /wp-* и разрешить лишь изображения? 3) Стоит ли индексировать "ленты постов"? Или их нужно индексировать, но их самих исключать из индекса? Если так, то стоит ли и "вторичные" разрешать, которые дублирую главную? |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Какой robots.txt правильный для сайта? | Дим-Димыч | Свободное общение | 2 | 29.05.2013 19:25 |
robots.txt как создать? И нужен ли он? | johny_03 | HTML и CSS | 6 | 13.03.2013 11:54 |
Математическая логика (Элементы теории множеств, Логика и исчисление высказываний) | sash_ok.83 | Фриланс | 0 | 12.06.2012 20:43 |
Логика предикатов (мат логика 2 задачи) | Deathcube | Помощь студентам | 0 | 27.02.2012 18:28 |
C++ Robots | Rembo | Общие вопросы C/C++ | 1 | 03.08.2008 15:10 |