Дождаться завершения всех потоков

[nibufep]

Доброго времени суток!
Имеется проблема, не могу придумать решение, вот в чем суть:

имеется несколько потоков, 5 штук допустим, в каждом потоке собираются ссылки, и количество этих ссылок всегда разное, собираются они ругулярками, потом в цикле с каждой такой ссылкой запускается еще один поток и парсит со страницы цифры, вот нужно сначала спарсить цифры с каждой страницы, а потом их все сложить, в голову только приходит объявить глобальную переменную (и даже не одну, так как основных потоков как мы помним у нас 5) и в каждом потоке её увеличивать, но опять же как потом это все сложить, как узнать какой поток последний соберет эти цифры, и вообще идея с глобальной переменной мне не очень нравится, может кто подскажет как решить эту проблему?

[come-on]

пул потоков

[nibufep]

Сообщение от come-on

пул потоков

Можно поподробней?

[come-on]

вы бы хоть написали какая делфи у вас, а то есть большая разница

[nibufep]

Сообщение от come-on

вы бы хоть написали какая делфи у вас, а то есть большая разница

XE10

[eoln]

А чем не устраивает глобальная переменная? То, что глобальные переменные - зло в эпоху мультипотоков, так это для внутренней структуры. А для совместной работы потоков без этого порой никуда. Этот форум тому пример, в одну эту тему (глоб переменная) отписались разные пользователи (потоки) и ничего, форум не рухнул )) Главное синхронизировать.

Пусть в классе формы есть некий счётчик (переменная с именем ThisGlobalVar_Warning_Warning), который потоки увеличивают через методы синхронизации (операция изменения счётчика относительна быстра по отношению к вэб-серфингу и парсингу и не повлияет на визуализацию, скорость работы потоков). Этот метод прост, быстр (в плане кода по крайней мере) и суров.

Если не устраивает такой подход, то есть несколько других вариантов - сообщения или сигналы, например. Пусть форма ждёт какого-нибудь, например, SendMessag'а и при получении увеличивает счётчик. Хотя, и тут переменную лучше объявлять глобальной для класса формы, иначе впоследствии прочитать её можно будет только с компонента на который вывелась инфа (или через какую-нибудь функцию/механизм и т.п.), а напрямую не получится.

приходит объявить глобальную переменную (и даже не одну, так как основных потоков как мы помним у нас 5)

А зачем 5? Пусть сразу всё в одну переменную складывается, всё равно же конечный результат нужен. Даже если и не конечный результат нужен, то можно вместо 5 переменных один массив на них завести.

А вот если бы задача стояла другая - например, обрабатывать бОльшие объёмы данных, то идея с глобальной переменной была бы уже не такой хорошей.

[nibufep]

Сообщение от eoln

А чем не устраивает глобальная переменная? То, что глобальные переменные - зло в эпоху мультипотоков, так это для внутренней структуры. А для совместной работы потоков без этого порой никуда. Этот форум тому пример, в одну эту тему (глоб переменная) отписались разные пользователи (потоки) и ничего, форум не рухнул )) Главное синхронизировать.

да я не сказать что прям против глобальных переменных, но вопрос такой был

но опять же как потом это все сложить, как узнать какой поток последний соберет эти цифры

Сообщение от eoln

А зачем 5?

Потому что это не относящие друг к другу данные, и их нужно отдельно считать / выводить.

[Pavia]

Тут вариантов куча.
1) Смотри потоко безопасную очередь. Признаком конца является пустая очередь.
2) Делать боса который будет распределять задачи по свободным потокам. Переодически проверяет свободны потоки или нет.
3) Делать диспетчера. Потоки посылают сообщения. Диспетчер быстро нагружает рабочего и засыпает. Сообщения всегда синхронны.

Как обойтись без глобальной переменной? Вот пример, чуть до делать и будет пункт 2.
Бос ждет пока все потоки рабочих не завершаться.

procedure TBoss.Execute;
var
 i:Integer;
 cmd:TWokerCMD;
begin
 // while not Terminated do
     begin
       for i:=1 to Length(Fabrick.Woker)-1 do
          begin
           cmd:=TSumData.Create;
           TSumData(cmd).Data:=TSumData(TasksList[0]).Data;
           TSumData(cmd).Count:=TSumData(TasksList[0]).Count;

           cmd.Count:=cmd.Count div Length(Fabrick.Woker);
           Fabrick.Woker[i].SendCommand(cmd);
          end;
 //          Fabrick.Woker[i].Resume;
   //    Fabrick.Woker[1].SendCommand(TasksList[0]);
     //  Fabrick.Woker[2].SendCommand(TasksList[1]);

       for i:=1 to Length(Fabrick.Woker)-1 do
           Fabrick.Woker[i].Resume;

       for i:=1 to Length(Fabrick.Woker)-1 do
           Fabrick.Woker[i].WaitFor;
       Sleep(10); //
     end;
  ReturnValue:=idOK;
end;

{ TWoker }

procedure TWoker.Execute;
begin
 if Task<>nil then
    Task.Exec;
  ReturnValue:=idOk;
end;

WaitFor работает в связке с ReturnValue.

Пул потоков? Это да можно и его использовать.

[eoln]

но опять же как потом это все сложить, как узнать какой поток последний соберет эти цифры

Нужна инфа прям по тому потоку (из 5-ти первородных), который отработал последним? Или достаточно подождать завершения 5 потоков + его дочек, внучек, правнучек, праправучек, прапраправнучек и других далёких потомков?

Для любого из этих вариантов можно вести учёт потоков (легко организовать свой так называемый пул через TThreadList). При создании потока, пусть он добавляется в один из пяти TThreadList, смотря кто был его прародителем (TThreadList может быть глобальной переменной, кстати, не требующей ручной синхронизации), а по завершению удаляет себя от туда.
Тогда мы всегда будем знать пуст ли каждый из 5-ти списков потоков или нет. Только в TThreadList нужна сначала добавить потомка, а потом уже удалять родителя, иначе, пусть даже на доли секунды, TThreadList может оказаться пустым, что может посчитаться как завершение всех потоков

[nibufep]

Смотрите вообщем какая задача, постараюсь более подробно объяснить, у меня есть 4 listview, в каждый должны будут вывестись данные, есть так же 4 потока / 4 основных ссылки, 4 абсолютно одинаковых потока, я запускаю каждый, передаю в него эту основную ссылку, поток делает GET запрос на сайт, вытаскивает от туда ссылки их может быть сколько угодно, но не больше 10 (имеется ввиду в каждом из 4 потоков), с каждой такой ссылкой создается еще один поток, в него передается эта ссылка, от туда я парсю цифры, мне их нужно сложить со всеми остальными этими 10 потоками (ну или меньше) и потом эти цифры нужно вывести в нужный listview. Надеюсь понятно объяснил задачу.