многопоточность indy и ошибки

[lomastr_]

ну раз у вас все тип топ, то и вопросов нет, все прекрасно, слип есть потоки рулят таймауты присутствуют, не вижу проблем

[Stilet]

клосед грэсфули

Вот это как раз не ошибка. Это исключение говорит что твоя программа и сервер разорвали соединение завершив свои дела.
Повторю вопрос: Ты уверен что сайт, к которому ты запросы отсылаешь, не распознает тебя как бота и не рубит из-за количества подключений с одного адреса?
Я ведь правильно угадал - ты к одному и тому же сайты все потоки коннектишь?

[tromani]

Сообщение от Stilet

Ты уверен что сайт, к которому ты запросы отсылаешь, не распознает тебя как бота и не рубит из-за количества подключений с одного адреса?

да с этим все нормально, вопрос был в том как понять что система начинает захлебываться от чрезмерного количества потоков ну собственно до того как начала захлебываться. вот как понять что 20 потоков еще норм а 30 уже перебор... вот в чем вопрос, я ж так понимаю что если у меня при 15 все норм работает, а при 30 кое-где внутри потока выдает коннектион тайм аут (не во всех, изредка), значит ему скорее всего не хватает либо возможности сети либо процессорного времени либо еще чегото там, т.е. как понять оптимальное число до того как начать

[Stilet]

Я не знаю как работают программы, в которых многопоток с инетом, но думаю что там расчитывается скорость сети в пересчете на одну закачку. Потом суммируется и предоставляется на суд пользователя - сколько ограничивать.
Например у тебя 1 мегабит. Ты говоришь: Ограничить до 512Кб - значит 512 делится на кол-во потоков допустим их 10 = 51Кб. Вот это лимит, который поток в цикле отправляет в сеть. Потом в самом потоке отправки может быть sleep(10), чтоб ограничение по отправке действительно сработало.
То что тебе выше говорили, мол слипы не нужны - чушь. Нужны, просто INDI в таком случае стоит выкинуть в пользу WinAPI. Или сокетов Беркли.

Но я бы на твоем месте не делал сразу старт всех потоков. Лучше стартовать их по определенному количеству. Как только кол-во потоков уменьшается - освобождается место для нового потока - как DownloadMaster делает. Это гораздо выгоднее, да и пересчитывать лимиты для потоков не придется.

[tromani]

Сообщение от Stilet

То что тебе выше говорили, мол слипы не нужны - чушь.

абсолютно согласен, так я то собственно не стартую их сразу, вы ж видите там в цикле стартуется сразу количество ограниченное updown.position, а (в моем случае там 15 например) а по завершении стартуется следующий и т.д. т.е. одновременно всегда запущенно не более значения заданного updown.position

просто думал ну может ктото реально не раз уже по этой теме работал что-то мудрое посоветует типа вот функция возвращает %забитости канала))) ну я утрирую ну както так

[Stilet]

ИМХО нет такой функции. Я думаю что все считается относительно переданных байт за определенное время через сетевую. Эту цифру думаю можно получить, но все равно процент нагрузки придется высчитывать "ручками". Да и врядли он будет достоверным для определения нагрузки до конечного узла.

[lomastr_]

абсолютно согласен

вставляйте везде, только опубликуйте список прог, чтоб нечаянно не наткнуться

[tromani]

Сообщение от lomastr_

вставляйте везде, только опубликуйте список прог, чтоб нечаянно не наткнуться

дружище, давайте вы хоть попробуете чтоли, если вы сможете запустить одновременно 50 потоков без единого слипа или любой задержки в каждом из которых будет Get ну пусть на любой самый простой сайт и все пройдет ок без единой ошибки сети я только апплодировать буду, признаю что вы лучший

[lomastr_]

запускаем и 500 и больше, и чо? только у нас не только слипов нет но и циклов таких

[tromani]

ну так просветите, как?
я ж сюда обратился абы подсказали что делать и как лучше делать
кусочек кода то можно увидеть как без цикла и слипа запустить 500 потоков