Форум программистов
 
Регистрация на форуме тут, о проблемах пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail, а тут можно восстановить пароль

Купить рекламу на форуме 15-35 тыс рублей в месяц

Вернуться   Форум программистов > Web программирование > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

           Online-курс Java с оплатой после трудоустройства. Каждый выпускник получает предложение о работе
           И зарплату на 30% выше ожидаемой, подробнее на сайте академии, ссылка - https://clck.ru/fCqwP

Ответ
 
Опции темы Поиск в этой теме
Старый 07.10.2019, 20:26   #1
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,578
По умолчанию [РЕШЕНО] robots txt сделать сайт неиндексируемым, как закрыть сайт, папку или файл для индексации поисковиков - поисковых систем

весь сайт
Цитата:
User-agent: *
Disallow: /

какую-то папку
Цитата:
User-agent: *
Disallow: /folder/

какой-то файл
Цитата:
User-agent: *
Disallow: /usercp.php
Alar вне форума Ответить с цитированием
Старый 07.10.2019, 21:38   #2
ADSoft
Старожил
 
Регистрация: 25.02.2007
Сообщений: 3,991
По умолчанию

но это абсолютно не гарантирует что роботы не будут лазить по сайту. Гугл даже открыто пишет, что в скором - это будет только рекомендацией .... а не жестким правилом
ADSoft вне форума Ответить с цитированием
Старый 07.10.2019, 21:40   #3
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,578
По умолчанию

ADSoft, тогда придётся ставить вместо сайта пустую заглушку index.html
Alar вне форума Ответить с цитированием
Ответ

           Интенсив по Python: Работа с API и фреймворками 24-26 ИЮНЯ 2022. Знаете Python, но хотите расширить свои навыки?
           Slurm подготовили для вас особенный продукт! Оставить заявку по ссылке - https://slurm.club/3MeqNEk

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Гиперсылка на сайт в RadStudio 10.1 на С++(разработка под Андроид): Как сделать чтобы по нажатию на лейбл или кнопку открывался сайт по гиперссылке? VladislavSito Помощь студентам 0 07.03.2017 22:53
Как спрятать сайт от поисковиков Bulat Ibrahim Общие вопросы Web 11 02.09.2016 02:15
Как восстановить сайт в поисковых системах после взлома? grader2011 Безопасность, Шифрование 0 10.04.2011 20:23