Многопоточная проверка сайтов

[vlad1389]

в таком случае не получится создавать выбранное пользователем число потоков

Почему?

for i := 1 to count Thread.Execute

Каждый поток по завершении в синхронизации сообщает главному потоку программы, что он завершился. Вот и считайте в главном коде завершённые потоки, и по необходимости создавайте новые, отдавая в них новые url.

[Pavia]

Есть у тебя список URL.
В цикле создаёшь потоки по длине списка.
Ждешь пока все потоки отработают после разрушаешь потоки.
Внутри потока делаешь вывод результата.
"Вывод" делаешь синхронным.

  for i:=0 to List.Length-1 do
    Threads[i]:=TThread.Create(Suspended); // Поток создаётся сразу спящим

  for i:=0 to List.Length-1 do
    Threads[i].URL:=List[i].Text; // Присваиваем адрес URL

  for i:=0 to List.Length-1 do
       Threads[i].Resume; // Будем все потоки что-бы те начали выполнять Execute

  for i:=0 to List.Length-1 do
      Threads[i].WaitFor; // Ждём завершения

procedure TThread.Execute;
begin
 Self.Checked:=False;
 try
    try
      HTTP:=TIdHTTP.create(nil);
    except
      HTTP.Destroy;
    end; 
    HTTP.HandleRedirects:=false;
    HTTP.ConnectTimeout:=1000;
    HTTP.ReadTimeout:=500;
    
    HTTP.Get(Self.URL);
    if HTTP.ResponseText='HTTP/1.0 200 OK' then Self.Checked:=True; 


 finally  // Даже если будет ошибка, то код ниже выполнится.
   HTTP.Destroy;
   Synchronize(OutPut);
   ReturnValue:=1; // Сигнал для WaitFor, то что поток закончил работу
 end;
end;

Код набирал прям тут. Так что проверяйте.

[vlad1389]

В цикле создаёшь потоки по длине списка.

И 10 000 сайтов успешно будут помечены, как плохие. А почему?

[Pavia]

Сообщение от vlad1389

И 10 000 сайтов успешно будут помечены, как плохие. А почему?

И почему же?

[vlad1389]

А по тому, что мой роутер не обработает больше 100 одновременных TCP соединений. Создастся очередь, и с большой вероятностью часть потоков не отстоят в очереди по причине окончания таймаута соединения.

[Pavia]

А по тому, что мой роутер не обработает больше 100 одновременных TCP

Печалька. У моего ограничение на порядок-два выше. Должен же я был оставить на самообучение ТС.

Сделать 2-х уровненную обработку.
Основной список и вспомогательный на 100. Копируешь в маленький частями и отдаешь его на исполнение потоками.

[vlad1389]

Допустим даже 1000 соединений. 9000 станут в очередь, и подохнут. Плюс получим 100% нагрузку на сеть, что в некоторых случаях крайне неприемлемо. Получается, что такой код отработает с ошибками, и повесит сеть. Ну как-то это не очень...

Основной список и вспомогательный на 100. Копируешь в маленький частями и отдаешь его на исполнение потоками.

А не проще сделать, как предложил я? Создать n потоков, число которых задаётся настройкой программы, и чтоб каждый завершаемый поток отдавал команду в главный поток программы на инициализацию нового соединения. Таким образом мы всегда будем иметь n активных потоков до конца работы программы.

[Pavia]

А не проще сделать, как предложил я?

Если он проще приведите код сравним.

[vlad1389]

Во первых у меня нет желания писать код ради доказательства, во вторых сравнивать не с чем.

Сделать 2-х уровненную обработку.
Основной список и вспомогательный на 100. Копируешь в маленький частями и отдаешь его на исполнение потоками.

Где код???