Массив потоков

[min@y™]

ну попробуй.

[NIKOLAYY2]

min@y™Хорошая книга, много полезных примеров,
Поиск файлов в потоке
Потоки и базы данных
Многопоточная графика и тд.
Это все реализовать не так сложно по сравнению с парсингом в интернете в многопотоках

=================================== =============

Но сейчас пока интересует вот это:
Реально отработал вот этот у ДралсяСошибками пример типа того что мы для каждого потока создаем свой TIdHttp!

А что бы создать для каждого свой полагаю лучшего способа как сварганить из потоков и объектов TIdHttp массив лучшего способа не придумать.

Все работает значит по такому принципу:
Создаем циклом 10 потоков
Создаем циклом 10 объктов TIdHttp
Загружаем в каждый TIdHttp[i] страницу сайта

При чем загрузку начинаем одновременно во все TIdHttp[i]!!!

Внутри этой процедуры ни каких циклов! Иначе ни какой многопоточности неощущается, там только инкримент!

procedure TMyThread.Execute
  begin
    inc(s);
    //Form1.Memo1.Lines.Add(Http[s].Get('http://www.yandex.ru/'));
    Form1.Memo1.Text := Http[s].Get('http://www.yandex.ru/');
    Http[s].Free;
  end;

И так подведем итог:
Много-поток приведенным здесь способом отработает очень быстро, он быстро загрузит 10 страниц без проблем.

Но проблемы возникают тогда когда я хочу загрузить 100, 500 или 1000 страниц.
Этот способ делать массив потоков = 1000 штук и массив IdHttp-шек уже неподходит! Все начинает зависать!
А использовать одну Http[i]-шку я безопасно могу использовать только один раз, ведь я не знаю когда она освободится от загрузки страницы и ее можно применить будет снова.
Если я неправильно сказал в этом месте то поправьте приведите пример кодом.

Какие способы еще решения данной проблемы можно воплотить в реальность?
Например 5 потоков но чтоб они работали постоянно, можно кодом пример.

[Stilet]

Все начинает зависать!

Тырнет слабенький )
Я так понимаю ты с запрос на один и тот же сайт даешь? Серверу тамошнему это может не нравиться (мне бы не понравилось), и он будет блокировать твои запросы считая что ты бот, да еще и нагло атакующий его количеством.

Что я хочу сказать:
1) Не делай так много запросов сразу. Ставь в очередь.
2) Твой пример не идеален. Предлагаю замену:

procedure TMyThread.Execute
  begin
    With TIdHTTP.Create(nil) do 
     Form1.Memo1.Text := Get('http://www.yandex.ru/');
     Free;
    end;
  end;

Опять таки обращение к Form1.Memo1 лучше конечно синхронизировать, иначе такая каша может получиться - мама не горюй. Т.е.:

procedure TMyThread.Execute
  begin
    With TIdHTTP.Create(nil) do 
     try
       Res := Get('http://www.yandex.ru/');
       Synchronize(procedure
  begin
     Form1.Memo1.Append(Res);
  end);
     except
     end;
     Free;
    end;
  end;

Res - свойство класса TMyThread.

[min@y™]

Все работает значит по такому принципу:
Создаем циклом 10 потоков
Создаем циклом 10 объктов TIdHttp
Загружаем в каждый TIdHttp[i] страницу сайта

[длинная_108-этажная_грязная_матерная_фраза]НИКОГДА ТАК НЕ ДЕЛАЙ!!! ИНАЧЕ Я ТЕБЯ НАЙДУ И ЛИЦО ОТКУШУ!!![/длинная_108-этажная_грязная_матерная_фраза]
Используй TThreadList и потомок TStream с полем TidHTTP и соотв. свойством!!!

[NIKOLAYY2]

min@y™
Используй TThreadList и потомок TStream с полем TidHTTP и соотв. свойством!!!

Да я бы рад, но не умею...

Stilet
Тырнет слабенький )

Да не интернет нормальный у меня. В смысле Res сделать типом string внутри класса?

Там еще опечатка у вас Synchronize(procedure
я ее поправил и в конечном итоге получил такой код:

Он компилируется, но при нажатии кнопки зависает все.
Я наверно неверно снова сделал что-тоне так..

  TMyThread = class(TThread)
  private
    { Private declarations }
  protected
    Res: string; //добавил сюда
    procedure Execute; override;
  end;

var
  Form1: TForm1;
  Thread: TMyThread;

implementation

{$R *.dfm}

{ TMyThread }

procedure TMyThread.Execute;
begin
  with TIdHTTP.Create(nil) do
    try
      Res := Get('http://www.yandex.ru/');
      Synchronize(Execute);
      begin
        Form1.Memo1.Lines.Add(Res);
      end;
    except
    end;
  Free;
end;

procedure TForm1.Button1Click(Sender: TObject);
begin
  Thread := TMyThread.Create(False);
  Thread.Priority := tpNormal;
end;

end.

[min@y™]

у тебя бесконечная рекурсия в теле треда.

procedure TMyThread.Execute;
begin
  with TIdHTTP.Create(nil) do
    try
      Res := Get('http://www.yandex.ru/');
      Synchronize(Execute); // рекурсивный вызов Synchronize()
      begin
        Form1.Memo1.Lines.Add(Res);  // <--- эт чо?
      end;
    except
    end;
  Free;
end;

[Stilet]

Там еще опечатка у вас Synchronize(procedure

Это не опечатка, а анонимная функция )
У тебя какой версии Делфи то?

[NIKOLAYY2]

min@y™
Form1.Memo1.Lines.Add(Res); // <--- эт чо?

Незнаю я. Это я код выше пытался поправить чтобон хотя бы скомпилировался..

==================================
Ну а возьмем мы такой например алгоритм:

Делаем 5 потоков, запускаем их параллельно разом!
Все потоки стартуют одновременно, идет загрузка 5 страниц сразу!

Затем (делаем какую то паузу) ждем когда доработает последний поток
и запускаем 5 потоков снова!

Нормальный алгоритм? И программа вроде как зависнуть не должна с пяти потоков и скрость увеличится в пять раз верно?

Stilet
Это не опечатка, а анонимная функция )

Я в Delphi 7 код запускал, но есть еще Delphi 2010.

[Stilet]

в Delphi 7

Сделай еще один метод-процедуру без параметров для класса потока.
И в нее помести

Form1.Memo1.Lines.Add(Res);

Тогда можешь писать Synchronize(<Тут имя этого метода>);

[lomastr_]

продолжайте читать про потоки, потом переходите к понятию пула потоков, и тогда ждет вас удача, а пока как идеи так и код - в топку