Импорт из csv\ обработка в массивах\ экспорт в cs.

[Алексей Сем]

Добрый день, уважаемые форумчане!

Для обработки большего массива данных необходимо выполнить трех этапную операцию:
1. Выбрать данные из csv файла в двухмерный массив;
2. Обработать их в массиве - разбить на два двухмерных массива по условию;
3. Экспортировать полученные массивы обратно в csv.

Все операции очень желательно выполнять без выгрузки в таблицы эксель, поскольку кол-во строк в csv может доходить до сотен миллионов.
С горем пополам (и огромной помощью интернета) справился с двумя первыми задачами, но обратный экспорт не удается.
Если кто подскажет, как это сделать буду очень признателен.

[Hugo121]

Т.к. это CSV, и строк сотни миллионов, и делить нужно на два файла - то если это нормальные во всех смыслах файлы - думаю самое оптимальное читать файл построчно и сразу писать или не писать эту конкретную строку (можно частично) в другой файл, тоже построчно.
Никаких массивов, и не страшны никакие миллионы.

[Алексей Сем]

Да, csv во всех смыслах нормальный.
Массив такие объемы не проглотит?
Ок, спасибо, попробую через файл.

[Hugo121]

Массив может и проглотит, но не всегда. А кроме того - долго в него разбивать будете, и подвесите комп.
Проще построчно - ну пусть тоже небыстро, зато нересурснозатратно. Нехай там в фоне перебирает...