Программа для сканирования ссылок на сайте.

[antoha.by]

Задача такова: Мне нужно написать программу которая могла заходить на какой нибудь сайт, сканировать там ссылки с определенным фильтром (например: сайт http://programmersforum.ru фильтр ссылок: "google.com" ну это просто пример) и причем заходить по тем ссылкам на сайты считывать от туда HTML-код.
Вопрос такой: что мне для этого нужно(учебники, программы)? Каким языком лучше писать?
В программирование я знаю отлично только паскаль, но хочу научиться и другим языкам.

Принцип решения задачи прост:
1. Считать HTML-код с указанного сайта
2. Найти всё что включено в тег <a href= с учетом фильтра
3. Зайти по ссылке на сайт
4. Считать от туда HTML-код(считать можно куда угодно и в файл и на экран)

[Arigato]

Писал что-то подобное на Делфи. Программа сканировала сайт на поиск определенных фраз и сохраняла статистику.

[antoha.by]

Arigato, Исходник дай пожалуйста!

[merax]

Есть готовая dll заточенная под .NET которая как раз решает твою проблему. Писал сам потому стоит денег.

[eoln]

Принцип решения задачи прост:
1. Считать HTML-код с указанного сайта
2. Найти всё что включено в тег <a href= с учетом фильтра
3. Зайти по ссылке на сайт
4. Считать от туда HTML-код(считать можно куда угодно и в файл и на экран)

Да, можно и так. Вот небольшой пример. Функция для скачивания странички. Сохраняем страничку в файл, открываем, ищем например теги "<a href=", сохраняем адреса из них и снова пользуем функцию для закачки

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics,
  Controls, Forms, Dialogs, WinInet;
...

function DownloadFile(const Url: string; filname:string): string;
type
    buf=array[0..1024] of char;
var
   NetHandle: HINTERNET;
   UrlHandle: HINTERNET;
   Buffer: buf;
   BytesRead: cardinal;
   fil:file of buf;
begin  
    Result:='';
    NetHandle:=InternetOpen('Delphi 7.0', INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0);
    if Assigned(NetHandle) then begin
       UrlHandle := InternetOpenUrl(NetHandle, PChar(Url), nil, 0, INTERNET_FLAG_RELOAD, 0);
       if Assigned(UrlHandle) then begin
          assignfile(fil,filname);
          rewrite(fil);
          FillChar(Buffer, SizeOf(Buffer), 0);
          repeat
              result:='save';
              FillChar(Buffer, SizeOf(Buffer), 0);
              AllByte:=AllByte+SizeOf(Buffer);
              InternetReadFile(UrlHandle, @Buffer, SizeOf(Buffer), BytesRead);
              write(fil,Buffer);
          until BytesRead = 0;
          closefile(fil);
          InternetCloseHandle(UrlHandle);
       end else 
          raise Exception.CreateFmt('Нет доступа к %s', [Url]);
    InternetCloseHandle(NetHandle);
    end else
    raise Exception.Create('Unable to initialize Wininet');
end;

[antoha.by]

eoln,
Спасибо!

[Arigato]

Я писал на Делфи 6. Приводить исходник своей проги не вижу смысла, т.к. она решает немного другую задачу и снабжена очень многими совсем не связанными с этой задачей возможностями.
На Делфи 6 есть такой компонент, как TClientSocket, я использовал его.
С его помощью не составит труда скачать нужную страничку. А затем алгоритм тривиален, да ты и сам его привел в первом сообщении.
Единственное, что при считывании придется руками формировать HTTP-запрос. Протокол HTTP хорошо документирован, найти не составит труда.