Переполнение/утечка памяти программы - C#

[Luuzuk]

MaxDegreeOfParallelism в -1 попробуйте выставить, чтобы ограничение на количество потоков убрать

Если TPL принципиально юзать не хотите, то хотя бы пул потоков заведите, все-таки создание потока довольно дорогая операция

[Пепел Феникса]

Сообщение от Luuzuk

MaxDegreeOfParallelism в -1 попробуйте выставить, чтобы ограничение на количество потоков убрать

Если TPL принципиально юзать не хотите, то хотя бы пул потоков заведите, все-таки создание потока довольно дорогая операция

согласен еще потому, что в случае с кодом ТС возможны пропуски ID.
так как чтение не синхронизировано, можно прочитать два раза одно и тоже, а потом два раза увеличить.

[Скарам]

Да все в общем-то просто, используйте какую-нибудь файловую бд, пишите туда результаты парса. Если обрабатывайте картинки, то сразу же выгружайте на диск и удаляйте из памяти (Dispose+clear массивов + dispose memory streams). Если картинки не надо конвертировать, то лучше сразу выгружать в файл аля File.WriteAllBytes, если нужна, то делайте это в отдельном процессе или в период, когда это потребуется. Если подобное не делается, то надо анализировать память профайлером аля DotTrace.