Парсинг крупного портала.

[Mr_freeman]

Всем привет! Возникла такая мысль:
Пишем скрипт который собирает ссылки и структуру какого то крупного портала, скажем, avto.ru
В результате получается база адресов без домена, вроде:

/cars
/ford
/ford/focus
... - вообщем целая куча ссылок.

Потом берем любой домен - somedomen.ru и делаем отдельный сайт с такой же структурой, которую мы получили:

somedomen.ru/cars
somedomen.ru/ford
somedomen.ru/ford/focus

Контент страницы будет браться с помощью file_get_contents с оригинального сайта и по возможности уникализироваться некоторым алгоритмом.
В итоге у нас получается свой огромный сайт с уникальным контентом и индексируется в поисковиках.

Естественно, все это - теория. Поэтому и вопрос: возможно ли это сделать? Будет ли от этого эффект? Как быстро собрать сайтмапы и ссылки с какого либо сайта? Законно ли это?
Всем заранее спасибо!

[notHaker]

Сообщение от Mr_freeman

Всем привет! Возникла такая мысль:
Пишем скрипт который собирает ссылки и структуру какого то крупного портала, скажем, avto.ru
В результате получается база адресов без домена, вроде:

/cars
/ford
/ford/focus
... - вообщем целая куча ссылок.

Потом берем любой домен - somedomen.ru и делаем отдельный сайт с такой же структурой, которую мы получили:

somedomen.ru/cars
somedomen.ru/ford
somedomen.ru/ford/focus

Контент страницы будет браться с помощью file_get_contents с оригинального сайта и по возможности уникализироваться некоторым алгоритмом.
В итоге у нас получается свой огромный сайт с уникальным контентом и индексируется в поисковиках.

Естественно, все это - теория. Поэтому и вопрос: возможно ли это сделать? Будет ли от этого эффект? Как быстро собрать сайтмапы и ссылки с какого либо сайта? Законно ли это?
Всем заранее спасибо!

Привет, юный друг. Твой домен рано или поздно попадет в бан и неважно, кем он будет инициирован, важно — успеешь ли ты получить с этого действа профит.

[Mr_freeman]

Сообщение от notHaker

Привет, юный друг. Твой домен рано или поздно попадет в бан и неважно, кем он будет инициирован, важно — успеешь ли ты получить с этого действа профит.

Каким образом он попадет в бан? А если контент будет полностью уникальным?

[Luuzuk]

Старо как мир. Я как-то делал набор ПО для аналогичных целей. Буржуйский сайт грабился с помощью Teleport Pro, переводился с помощью самописной утилиты и промта на русский язык, вырезались абсолютные пути и любые упоминания оригинального сайта, контекстная реклама, счетчики, метатеги и проч., далее при помощи другой самописной утилиты выполнялась синонимизация и замена непереведенных слов. Потом сайт выкладывался в интернет => вуаля! Яндекс считал контент оригинальным и сайт не банил) Но это было года 4 назад

А если контент будет полностью уникальным?

А вы его сами писать что-ли будете? Ворованное уникальным не бывает )

[notHaker]

Сообщение от Mr_freeman

Каким образом он попадет в бан? А если контент будет полностью уникальным?

Полностью уникальный контент должны делать контент-манагеры и при этом придирчиво следить за тем, чтобы процент уникальности был очень высок.

В случае Luuzuk, контент брался с буржуинского сайта и проходил очищение промтом, но сейчас это тоже не панацея.

[Mr_freeman]

Окей, отложим вопрос уникальности. Перейдем к технической возможности реализации. Как собрать все ссылки? Контент собирать не нужно, нужны исключительно адреса.
Я бы мог написать на PHP скрипт, бегающий по ссылкам, но думаю тут PHP не самый лучший вариант. Или вполне подходящий?

[notHaker]

Сообщение от Mr_freeman

Окей, отложим вопрос уникальности. Перейдем к технической возможности реализации. Как собрать все ссылки? Контент собирать не нужно, нужны исключительно адреса.
Я бы мог написать на PHP скрипт, бегающий по ссылкам, но думаю тут PHP не самый лучший вариант. Или вполне подходящий?

Берите preg_match_all и собирайте на здоровье.

[Mr_freeman]

Еще один вопрос по этой теме: как можно узнать, насколько хорошо яндекс отнесется к такой странице? Наверное я имею ввиду, как проанализировать сайт и выяснить, что, например, многие страницы стырены с другого сайта.

[notHaker]

Сообщение от Mr_freeman

Еще один вопрос по этой теме: как можно узнать, насколько хорошо яндекс отнесется к такой странице? Наверное я имею ввиду, как проанализировать сайт и выяснить, что, например, многие страницы стырены с другого сайта.

Юзать Yandex.Webmaster

[Luuzuk]

только проверить