Универсальный парсер

[Eclipze]

Здравствуйте, есть задание. Нужно написать универсальный парсер, с использованием регулярных выражений. Для начала нужно хотя бы, чтобы прога умела парсить такой ресурс как kinopoisk.ru, выдавая при этом название фильма, год, страну, актеров и т.д. Может кто писал такое. Буду благодарен за любые данные. Заранее спасибо

[Mifody]

100% универсальных парсеров не существует.
Парсеры (а точнее говоря граберы) пишутся обычно под конкретный сайт. Все универсальные оболочки (я их уже перебрал ради интереса несколько штук) опять же донастраиваются под конкретные сайты.
А так, написать по конкретному ТЗ парсер - не особая проблема, если конечно никаких хитрых защит на сайте не стоит.

А насчет информации как писать парсер. Алгорит у них всех весьма примитивный.
1. получить страницу
2. собрать по необходимости с нее ссылки.
3. собрать необходимую информацию.

и так пока есть ссылки.
Для получения страницы пользовать Indy, Overbyte ICS, synapse.
Для выдергивания ссылок - либо поиск в тексте стандартными функциями, либо найти библиотеки и пользовать регулярные выражения. С регулярными выражениями по началу конечьно не столь легко, но потом жизнь становиться проще

[Eclipze]

Огромное спасибо за ответ. Вчера долго очень парился над всем этим, но в итоге написал парсер под сайт кинопоиск.ру, получаю список страниц и названия фильмов с них. Как это все работает разобрался. Но вот столкнулся с проблемой регулярных выражений. Никогда раньше не приходилось с ними сталкиваться. Может кто-нибудь может подсказать литературу по ним. Заранее спасибо.

[Serge_Bliznykov]

так, навскидку:
Mastering Regular Expressions (Jeffrey E.F. Friedl) (издание O'Reilly)
Регулярные выражения (Дж. Фридл) (то же, но на русском)
Регулярные выражения. 10 минут на урок Автор: Бен Форта

а ещё, Вы же в Delphi будете библиотечку для работы с регулярными выражениями ставить? Так вот, в TRegExpr в комплекте очень неплохая документация и примеры...

[Eclipze]

100% универсальных парсеров не существует.
Парсеры (а точнее говоря граберы) пишутся обычно под конкретный сайт.

Я с вами в принципе согласен, очень сложно даже придумать способ универсального парсинга. Но в то же время, почему бы и нет? Возможно все=)) Нужно только постараться. Вот у меня сейчас такая задача от заказчика. И честно говоря пока не знаю как это осуществить(все сайты разные и с разным набором данных). Вообщем буду искать решение данной задачи. И буду благодарен за идеи=))

Написание парсера идет хорошо, но вот столкнулся еще с одной проблемой. Изначально прога парсила страницы сайта по id. А как быть если у страницы нет id?
Т.е. как получить список нужных страниц на сайте? Очень нужно решение этой проблемы.

[Mifody]

как получить список нужных страниц на сайте?

Так ведь это одна из составляюих парсинга. Все ссылки на сайте есть (иногда правда приходится открыть несколько страниц, для того, что бы добраться до нужной). Определяете параметры необходимых ссылок и забираете только нужные

[Eclipze]

Доброго времени суток всем. Подскажите пожалуйста, как получить список всех ссылок со страницы. Парсер пишу с использованием URLMon, страницу получаю с помощью URLDownloadFile. Заранее спасибо.

[Stilet]

как получить список всех ссылок со страницы.

В цикле. Ищешь через Pos подстроку "<a href="
Удаляешь процедурой delete все до найденной позиции
Выбираешь через сору данные начиная с 1 до первой >. И опять поиск через Роs.

Тут подобные уже обсуждались парсеры. Вот например:http://www.programmersforum.ru/showthread.php?t=108856

[Eclipze]

Спасибо за ответ!
Со списком всех ссылок я разобрался. Теперь новая задача, нужно вывести только однотипные ссылки. Например в тексте которых встречается: "/video/index/". Тут наверно только с помощью регулярок можно что-то сделать. Или я ошибаюсь?

[Пепел Феникса]

В цикле. Ищешь через Pos подстроку "<a href="
Удаляешь процедурой delete все до найденной позиции
Выбираешь через сору данные начиная с 1 до первой >. И опять поиск через Роs.

Виталий, это удар по скорости, PosEx куда лучше.

Теперь новая задача, нужно вывести только однотипные ссылки. Например в тексте которых встречается: "/video/index/". Тут наверно только с помощью регулярок можно что-то сделать. Или я ошибаюсь?

ошибаетесь, кто мешает найденную ссылку проверить на ваше условие?(тот же Pos)