Многопоточность

[garyanikin]

Здравствуйте. Скорее всего этот вопрос поднимался на форуме тысячи раз, но я не смог найти решения...

Есть код, который парсит странички сайта(кстати, возможно ли загружать не всю страничку целиком, а лишь до опр. текста?):

procedure TForm1.Button2Click(Sender: TObject);
var
page,name:string;
i,count:integer;
f,it:textfile;
begin
Button3.Enabled:=true;
 while button3.Enabled do begin
//Генерация переменной name
 page:='';
 page:=idhttp1.Get('http://sitename.ru/profile/'+name);
 if pos('/profile/'+name+'"',page)<>0 then begin
 Memo2.Lines.Add(name);
 end;
end;

Прошу помощи в реализации оного в многопоточном режиме.

Как сделал я, работает совсем не так быстро как я ожидал(код работает плохо, прирост не большой, т.е. 10 потоков работают в два-три раза быстрее чем однопоточный, 50-80-100 потоков работают так же как 10):

procedure TForm1.Button1Click(Sender: TObject);
begin
Work:=true;
 for Thread:=1  to strtoint(Edit1.Text) do
  TNewThread.Create(false);
 Thread:=strtoint(Edit1.Text);
end;

procedure TNewThread.Execute;
var
    HTTP: TIdHTTP;
    page:string;
begin
 while Work do
  begin
//тут идет генерация переменной name
     HTTP:=TIdHTTP.create;
     HTTP.HandleRedirects:=true;
     try
      page:='';
      page:=HTTP.Get('http://sitename.ru/profile/'+name);
      if pos('/profile/'+name+'"',page)<>0 then
       Rez:=1
      else
       Rez:=0;
     finally
     HTTP.Free;
     Synchronize(Sync);
    end;
  end;
end;

procedure TNewThread.Sync;
begin
 case Rez of
   1:begin
      Append(f);
      Writeln(f,name);
      Closefile(f);
      Form1.Memo1.Lines.Add(name);
 end;
end;

Кстати иногда этот код просто останавливается, проверит несколько name и все, без выдачи ошибок и т.д., просто останавливается и все.
P.S. Понял почему прога останавливается. Иногда вылетает ошибка 'Socket Error # 10060 Connection timed out.'. И поток останавливается, как исправить?

UPD. Если перевести с Indy на Synapse программа будет работать шустрее?
UPD.2 Сильно ли замедляет работу программы вывод данных в Label? И Refresh этого Lable'а?

Заранее спасибо.

[Lardes]

Сообщение от garyanikin

кстати, возможно ли загружать не всю страничку целиком, а лишь до опр. текста?

До определенного текста не получится, только лишь побайтово - частичное скачивание web-странички с помощью Synapse

Сообщение от garyanikin

Как сделал я, работает совсем не так быстро как я ожидал(код работает плохо, прирост не большой, т.е. 10 потоков работают в два-три раза быстрее чем однопоточный, 50-80-100 потоков работают так же как 10)

От огромного числа потоков производительности нет. Лично я использую 3-7 потоков (оптимально)

Сообщение от garyanikin

UPD. Если перевести с Indy на Synapse программа будет работать шустрее?

Друг, лучше переходи на Synapse. Отличная библиотека. Если сайт поддерживает gzip, то прирост будет более 75% (трафик)

Я раньше писал один парсер, который собирает ссылки и с этих же ссылок парсит значения, если надо, покажу исходник

[garyanikin]

Сообщение от Lardes

До определенного текста не получится, только лишь побайтово - частичное скачивание web-странички с помощью Synapse

Мне впринципе достаточно получить Title странички и все)

Сообщение от Lardes

Я раньше писал один парсер, который собирает ссылки и с этих же ссылок парсит значения, если надо, покажу исходник

Буду премного благодарен^^

Друг, лучше переходи на Synapse. Отличная библиотека. Если сайт поддерживает gzip, то прирост будет более 75% (трафик)

Печально что все переписывать придется ахахахха

[Lardes]

Если возникнут вопросы, пиши

[garyanikin]

Спасибо пойду копаться)

[fucil]

вот все по потоку прочти и забудь про проблему потоков !
<<<ССЫЛКА>>>