Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Скриптовые языки программирования > PHP
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 30.06.2012, 10:00   #1
Satell
Пользователь
 
Регистрация: 30.06.2012
Сообщений: 19
По умолчанию Как отсечь всех ботов

открывать сайт только тем кто пришёл из броузера
как отсечь гугл бота, чтобы он вообще не мог зайти на сайт?
Satell вне форума Ответить с цитированием
Старый 30.06.2012, 20:07   #2
dr.Chas
***
Участник клуба
 
Аватар для dr.Chas
 
Регистрация: 30.07.2007
Сообщений: 1,162
По умолчанию

robots.txt

Код:
User-agent: Googlebot
Disallow: /
http://support.google.com/webmasters...&answer=156449
dr.Chas вне форума Ответить с цитированием
Старый 30.06.2012, 21:00   #3
Satell
Пользователь
 
Регистрация: 30.06.2012
Сообщений: 19
По умолчанию

спасибо это правильные директивы для запрещения ботов в htaccess?
SetEnvIfNoCase user-Agent "^spider.*" bad_bot [NC,OR]
SetEnvIfNoCase user-Agent "^Googlebot.*" bad_bot [NC,OR]
SetEnvIfNoCase user-Agent "^checker.*" bad_bot [NC,OR]
SetEnvIfNoCase user-Agent "^" bad_bot [NC,OR]
SetEnvIfNoCase user-Agent "^bot.*" bad_bot [NC,OR]
SetEnvIfNoCase user-Agent "^Alexa.*" bad_bot [NC,OR]
SetEnvIfNoCase user-Agent "^crawl.*" bad_bot [NC,OR]
<limit get="" post="" head="">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</limit>
Satell вне форума Ответить с цитированием
Старый 30.06.2012, 22:28   #4
dr.Chas
***
Участник клуба
 
Аватар для dr.Chas
 
Регистрация: 30.07.2007
Сообщений: 1,162
По умолчанию

Ну просто на "правильно" и "не правильно" на вашем месте, я бы не надеялся. А написал бы скрипт/программу которая бы делала запрос на сайт с любым user-agent из этого списка. Можете по искать в интернете наверняка это уже есть.
dr.Chas вне форума Ответить с цитированием
Старый 30.06.2012, 23:22   #5
Mortimoro
Форумчанин
 
Регистрация: 03.12.2010
Сообщений: 334
По умолчанию

так ты всех ботов не отсечешь, а только известных тебе... бот может представиться как угодно, например "jqwfrHJGwed", и тогда твое правило его пропустит.

1 вариант. Проверять признаки не ботов, а браузеров, то есть перечислить разрешенные браузеры и пускать только их, но тот же гугль ходит разными ботами - одни представляются гугльботами, другие мозиллой (чтоб палить подмену контента у недобросовестных "оптимизаторов").

2 вариант. Большинство ботов не умеют работать с javascript - тут поле для фантазии, ибо можно и контент подгружать аяксом, и сделать на исходной странице проверку кукисов, и если куки не установлены, перенаправить на другую страницу, где куки вешаются javascript'ом, а потом вернуть обратно... и еще немеряно самых извращенных вариантов.

3 вариант. Поставить капчу.

4 вариант. Вот тут наткнулся на интересный метод: http://habrahabr.ru/post/66732/

PS: все эти методы несовершенны, но совместное их использование и хитрая генерация хеша могут обеспечить довольно высокую устойчивость.
Mortimoro вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Продажа рекламных ботов oygan Фриланс 0 07.08.2011 07:50
что посоветуете против ботов netoro PHP 3 10.11.2008 10:03
Создание ботов для CS Marsik Софт 11 20.10.2008 22:41
Как отсечь имя файла и получить путь только к нему? Dux Общие вопросы Delphi 8 25.05.2008 20:24