Парсинг выдачи поисковиков

[Pcrepair]

Добрый день. Есть необходимость получить результаты выдачи по поисковым словам с гугля, яхуу, алтависты и подобных.
Необходимо:
- отправить запрос
- получить страницу
- собрать со страницы все УРЛ(потом отфильтровать мусор)

Вопрос: что лучше использовать TwebBrowser, или TEmbeddedWB?
оба являются надстройкой над ИЕ?
а может ТХром попробовать? за последний год сделали уже что то рабочее?
есть кто в курсе?

[stalker1995s]

Бред друг мой, при любом даже минимальном изменение кода на сервисе, с которого парсим, программу нужно будет переписывать. Да и кодировку их еще ни кто не отменял. А вообще, делается это, я так понимаю с помощью TIHTTP. Удачи вам

[Pcrepair]

сразу видно что ты не в теме

[BDA]

Сообщение от Pcrepair

сразу видно что ты не в теме

Вам нужно отображать сами страницы? Нет. Так зачем использовать визуальные компоненты? Indy или Synapse в самый раз, но есть и другая сторона медали - в Indy TidHTTP нельзя исполнять Javascript (насколько знаю; да и в синапс, скорее всего тоже), что иногда необходимо, и тогда приходится писать много руками.

Сообщение от stalker1995s

Бред друг мой, при любом даже минимальном изменение кода на сервисе, с которого парсим, программу нужно будет переписывать.

Ну а что делать? Сидеть и ждать финальной версии интернета? Изменения неизбежны, а результат нужен уже сейчас.
Возможно, у поисковиков доступен АПИ, который меняется реже.

[Человек_Борща]

Писалось когда-то подобное ПО. Под яндекс, гугл и рамблер.
Я вас разочарую, для этого:

Необходимо:
- отправить запрос
- получить страницу
- собрать со страницы все УРЛ(потом отфильтровать мусор)

Браузер вообще не нужен. Особенно, если много-поточно делать.
Браузер это средство визуализации, а ещё источник гемороя.

Вам правильно подсказали, компонент TidHTTP от Indy справится с задачей.
Кроме него есть паке Synapse(от него THTTPSend) и Overbyte ICS(я ими не пользовался).
Для выборки URL можно использовать регулярное выражение, которое юзер имеет возможность самостоятельно создать и протестировать. Избавит вас от кучи проблем в будущем.

[Pcrepair]

сразу видно что ты не в теме

[Человек_Борща]

Pcrepair, ну тогда только вы 1 в теме, значит сами и разбирайтесь со своей проблемой.

[eval]

предлагаю рассчитаться кто в теме кто нет, тс всех посчитает на раз два

[Mad_Cat]

рассчитаться кто в теме кто нет

те кто хотят использовать браузер - в теме(это видимо только тс)
кто за Indy\synapse - не в теме (я видимо тоже так как я именно за 2 вариант)

[Pcrepair]

вначале получи от хугля индей или синапсом результат, тогда и посчитаемся

Я вопросы тут не просто так задаю, не от нечего делать