IdHTTP - проблема с Get запросом через некоторое кол-во скаченых мегабайт

[vebster35]

Суть проблемы:
- посылается Get запрос на некоторый сайт: strmn:= IdHTTP1.Get('http://site.com/index.php');.
- В strmn заносится страница сайта, которая в последствии анализируется.
- После анализа, вновь посылается тоже самый запрос и так бесконечное кол-во раз: IdHTTP1.Get -> Анализ -> IdHTTP1.Get -->

Через время, а вернее скачивания программой, посредствам Get запроса на одну и туже страницу, определенного количества мегабайт (в частности у меня начинается проблема после 180мб, смотрю по стате в оутпосте) происходит странная вещь.
Как будто б в этом месте программы становится break - прерывается работа текущей процедуры (в частности нажатие на кнопку), т.е. не передается выполнение следующей строке после запроса.
Ставлю бряк на строку кода с запросом, дойдя до него программа начинает его выполнять и уходит в дебри подключенных модулей но не выходит из него)

Может кто сталкивался с подобной проблемой и знает как преодолеть сей интересный феномен? т.к. складывается впечатление что происходит либо переполнение какойто переменной, и процедера уходит в даун, либо затор и дальнейшее выполнение прерывается

[Mifody]

эээ, 180 Мб это что? размер страницы
хотя подозреваю, что просто суммарный объем данных.
если последнее, скорее всего утечка памяти "шалит", тогда:
1. посмотреть как Ваша программа "жрет" память через диспетчер задач, если идет постоянный прирост памяти, то:
2. искать утечку памяти в своем коде (хотя утечка может быть и в коде компонент), если глазками не получается, то:
3. поставить менеджер утечки памяти (или как он там называется правильно). У Вас не понятно какая версия делфей, у меня Delphi 7 и использую MemProof. Вещь древняя, но найти можно и ловит утечки на ура.

З.Ы. По своему опыту скажу, парсил сайты по 100 000 страниц, память жралась до 10 Мб маскиум , и то, потому, что накапливал большие объемы в переменных перед сбросом в базу

[vebster35]

Mifody

эээ, 180 Мб это что? размер страницы
хотя подозреваю, что просто суммарный объем данных.

да это и имелось ввиду.

если последнее, скорее всего утечка памяти "шалит", тогда:
1. посмотреть как Ваша программа "жрет" память через диспетчер задач, если идет постоянный прирост памяти, то:
2. искать утечку памяти в своем коде (хотя утечка может быть и в коде компонент), если глазками не получается, то:
3. поставить менеджер утечки памяти (или как он там называется правильно). У Вас не понятно какая версия делфей, у меня Delphi 7 и использую MemProof. Вещь древняя, но найти можно и ловит утечки на ура.

Нет утечки нет. проверял и по диспетчеру задач и через MemProof. память как использовалась первоначально ~5-8мб так и используется до "зависания". использую Delphi 7.

что накапливал большие объемы в переменных перед сбросом в базу

Переменные относящиеся к процедуре получения и парсинга страниц, после каждого цикла очищаются, то и странно что происходит такое явление

[vebster35]

Забыл также указать: использую Indy версии 10.5.7

[veniside]

если там индюк только для банального GET, то переписать минут за 20 на синапсе и посмотреть, что получится.

[vebster35]

veniside

а пример можешь подкинуть?

[veniside]

вторая ссылка в моём гугле по запросу synapse delphi:

http://parsing-and-i.blogspot.com/20...rst-steps.html

[vebster35]

Ок. Спасибо. перепишу на нем, посмотрю что выйдет. если честно все время использовал Indy, о таком компоненте первый раз слышу

[Пепел Феникса]

а можно код того как вы делали?

[vebster35]

Пепел Феникса,

strmn:= IdHTTP1.Get('http://site.com/index.php');
IdHTTP1.Socket.Close;
IdHTTP1.Disconnect;

 picf:= Pars('значение1', strmn, 'значение2');

if picf <> '' then
begin
//выполнение команд
end
else
begin
IdHTTP1.Disconnect;
strmn:= '';
// очередной запуск на выполнение вышенаписанного кода

Скажу наперед, что добавив

Application.ProcessMessages;

в события IdHTTP

WorkBegin и WorkEnd

, а также

IdHTTP1.Socket.Close;

и

IdAntiFreeze

набралось порядка 400мб и пока что полет нормальный