многопоточность indy и ошибки

[tromani]

Всем привет, кто знает помогите разобраться

суть проблемы такова:

есть простой поток:

 
procedure TParseTH.Execute;
var
  idHTTP_RP:TidHTTP;
  idCCM:TIdCookieManager;
begin
  FreeOnTerminate:=True;
  OnTerminate:=fmMain.ThreadDone;
  idCCM:=TIdCookieManager.Create();
  idHTTP_RP:=TIdHTTP.Create();
  idHTTP_RP.CookieManager:=idCCM;
  try
   idHTTP_RP.Get('something');
  except
  end;
  try idHTTP_RP.Disconnect except end;
  idHTTP_RP.Free;
  idCCM.Free;
end;

ThreadDone просто счетчик завершенных потоков

и есть некий цикл их (потоки генерирующий)

    thFinished:=0; //счетчик завершенных потоков
    thCount:=0;// счетчик запущенных
    repeat
      if thCount<upDown2.Position then
      begin
        try
          with TParseTH.Create() do;
          Inc(thCount);
        except
        end;
      end;      
      Sleep(400);
      ProgressBar1.Position:=thFinished;
      Application.ProcessMessages;
    until (needEx);

    while thCount<>0 do
    begin
      Sleep(300);
      ProgressBar1.Position:=thFinished;
      Application.ProcessMessages;
    end;

все в общем-то более-менее сносно работает при условии 15-20 запущенных потоков,
НО если убрать строчку Sleep(400); и ограничить число потоков до 100 например то вылетает 10053
если счетчик потоков ограничить 50-60 при наличии Sleep(400) то переодически внутри какоголибо потока имеем коннекшн тайм-аут...

т.е. вопрос по сути я сильно много-го хочу и 100 потоков это уже органичение по нагрузку на сеть или я чтото таки делаю не так?

[Stilet]

то вылетает 10053

Может тебя сервер отрезает, понимая что твой бот стучится и подозревая какую-то атаку?
А что программа то делать должна? Какова задача?

[lomastr_]

что-то странный код, зачем эти слипы?
таймаут это нормально
это

OnTerminate:=fmMain.ThreadDone;

и это

while thCount<>0 do
begin
Sleep(300);
ProgressBar1.Position:=thFinished;
Application.ProcessMessages;
end;

плохо

вопрос по сути я сильно много-го хочу и 100 потоков это уже органичение по нагрузку на сеть или я чтото таки делаю не так?

не страшно 100 как страшно что канал убиваете

[tromani]

что-то странный код, зачем эти слипы?

ну говорю без слипов сразу 10053 вылетает

while thCount<>0 do
begin
Sleep(300);
ProgressBar1.Position:=thFinished;
Application.ProcessMessages;
end;
это плохо

ну это вообще по сути к проблеме не относится чем плохо я не знаю

не страшно 100 как страшно что канал убиваете

не могли б вы поподробнее пояснить что имеете ввиду

[lomastr_]

слип вам помогает при

15-20 запущенных потоков

далее он уже не чем не поможет

ну это вообще по сути к проблеме не относится чем плохо я не знаю

плохо то что оно так не делается, вы перегружаете главный поток

[tromani]

Сообщение от lomastr_

плохо то что оно так не делается, вы перегружаете главный поток

а не подскажите как оно должно правильно делаться
или вы имеете ввиду что я перегружаю главный поток вот этим:

while thCount<>0 do
begin
Sleep(300);
ProgressBar1.Position:=thFinished;
Application.ProcessMessages;
end;

если вы это имеете ввиду то не обращайте внимания оно ж уже стоит после основного запуска всех нужных потоков да и в это время все равно ничего в главном не должно происходить оно должно просто подождать пока все запущенные потоки завершаться

проблема в том что из-за большого количества запущенных потоков вылетает коннектион тайм-аут ВНУТРИ созданного потока а не в главном или 10053

[lomastr_]

дело не в потоках, а в том что что вы сразу нагружаете инет сильно, слип вам дает небольшую задержку, но это спасает только когда мало, при большом количестве канал "ложится", т.е. вот вам и таймауты, упираетесь в железо так сказать

а не подскажите как оно должно правильно делаться

доп. поток должен по завершении сам сигнализировать (или сообщение (PostMessage) кидать или синхронизировать) о статусе, и циклов никаких не надо

стартуйте 10 к примеру, потом один отработал следующий запускаете и так далее, пока все не отработают

если делфи из новых возьмите какой готовый пул

[tromani]

Сообщение от lomastr_

дело не в потоках, а в том что что вы сразу нагружаете инет сильно, слип вам дает небольшую задержку

ага, вот это собственно я и хочу понять
а не подскажите, есть ли способ понять так сказать возможности канала перед очередным запуском потока например.... или тут только увеличить продолжительность слипа реально делу поможет

[lomastr_]

необходимость использования в программе слипа почти равна 0, за очень редким исключением
сами подумайте толку от него? ну вот вы поставите больше и что? тогда простои начнутся а прога будет "висеть"... кому она такая нужна?
я же вам сказал несколько вариантом, что не устраивает?

[tromani]

помоему вы код в код не очень вникли...
еще раз
мне надо в общей куче выполнить 2000-3000 запросов однотипных, последовательно ждать долго

procedure TfmMain.ThreadDone(Sender:TObject);
begin
  Inc(thFinished);
  Dec(thCount);
end;

тут описана событие на OnTerminate потока

OnTerminate:=fmMain.ThreadDone;

этот кусок из основного приложения или основного потока как угодно (кусок который меня интересует все остальное неважно):

thFinished:=0; //счетчик завершенных потоков
thCount:=0;// счетчик запущенных
   
  repeat
      if thCount<upDown2.Position then // если число запущенных в данный момент потоков меньше определенного значения , 
    //то запускаем новый поток
      begin
        try
          with TParseTH.Create() do;
          Inc(thCount);
        except
        end;
      end;      
      Sleep(400); //если число потоков в данный момент равно максимально заданному основной поток ждет ему 
   //собственно больше ничего делать не надо просто дождаться завершения всех потоков
      ProgressBar1.Position:=thFinished;
      Application.ProcessMessages;
    until (needEx);

вопрос мой собственно звучал чем так если я ограничиваю количество одновременно запущенных потоков 50-60 получается так что некоторые завершаются коннектиеон тайм аут т.е. очевидно что их слишком много и либо сеть либо железо не справляется, т.е. вопрос: есть ли какойто очевидный способ понять состояние нагруженности канала и прочего для принятия программой решения запускать ли очередной поток или стоит подождать завершения предыдуще запущенных, я не спрашивал про адекватность применения Sleep и так далее
да и слип тут оправдан ибо если я просто буду создавать подряд 100 потоков то либо получу 10053 либо уже от сайта к которому обращаюсь коннекшин резет бай пир или клосед грэсфули