Как собирать объявления с других сайтов в один общий?

[ww888]

Добрый день.
Подскажите, возможно ли создать программу, которая будет заходить на другие сайты-каталоги и собирать на них размещенные объявления, фильтровать дубли и автоматически размещать полученные объявления на одном общем сайте? Какие могут быть препятствия и возможно ли их преодолеть?

[alexcoder]

Возможно. Это можно сделать при помощи так называемых "парсеров". Программ, которые под видом пользователя заходят на сайты, считывают содержимое страниц сайта и парсят его, забирая из html-текста только нужную информацию. Лучше всего делать такой парсер на основе механизма регулярных выражений (RegExp).
Из препятствий - на сайте может стоять анти-парсинг защита (обычно на основе JavaScript). Но ее можно обойти полной эмуляцией действий пользователя в браузере. Медленно, но надежно
Иногда сайты меняют оформление, в таком случае приходится корректировать программы-парсеры.