Форум программистов
 
Контакты: о проблемах с регистрацией, почтой и по другим вопросам пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail.

Вернуться   Форум программистов > Web > WordPress и другие CMS
Регистрация

Восстановить пароль
Повторная активизация e-mail


Донат для форума - использовать для поднятия настроения себе и модераторам

А ещё здесь можно купить рекламу за 15 тыс руб в месяц! ) пишите сюда - alarforum@yandex.ru

Ответ
 
Опции темы
Старый 25.07.2019, 15:03   #1
GreenWizard
мальчик-помогай =)
Участник клуба
 
Регистрация: 16.09.2010
Сообщений: 522
Репутация: 206
По умолчанию Логика robots.txt

Доброе время суток.

Так уж вышло, что нужно срочно поправить robots.txt, но опыта в этом нету и экспериментировать нет возможности. Да, есть спецификация, но вдруг что-то не так пойму и минус сайт из поисковика.

1) Наследуются ли правила от User-agent: * другими User-agent-ами или нужно их дублировать?

2) Правила влияют на скачиваемые данные или лишь на индексацию? Скажем, я запрещу всё, кроме страниц .html, но поисковик "поймёт" что у страницы есть некая главная картинка (хоть бы из микроразметки) - сможет ли робот эту картинку отобразить или она запрещена? Аналогично со стилями и шрифтами, если вдруг робот их учитывает в работе (опять же, просто уточняю, хоть предполагаю что прям рендеринг страниц роботы не проводят)

2.1) Можно ли запретить /wp-* и разрешить лишь изображения?

3) Стоит ли индексировать "ленты постов"? Или их нужно индексировать, но их самих исключать из индекса? Если так, то стоит ли и "вторичные" разрешать, которые дублирую главную?
__________________
Группа ВК - https://vk.com/gw_inc
Почта - forwork.anton@gmail.com
GreenWizard вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Какой robots.txt правильный для сайта? Дим-Димыч Свободное общение 2 29.05.2013 19:25
robots.txt как создать? И нужен ли он? johny_03 HTML и CSS 6 13.03.2013 11:54
Математическая логика (Элементы теории множеств, Логика и исчисление высказываний) sash_ok.83 Фриланс 0 12.06.2012 20:43
Логика предикатов (мат логика 2 задачи) Deathcube Помощь студентам 0 27.02.2012 18:28
C++ Robots Rembo Общие вопросы C/C++ 1 03.08.2008 15:10


03:03.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.

Проекты отопления, пеллетные котлы, бойлеры, радиаторы
интернет магазин respective.ru