Чтение множества файло

[L6go1as]

Добрый день.

Не подскажите как правильно читать большой объем файлов типа txt ?

Использую пока такую конструкцию:

for (int i = 0; i < 15000; i++)
{
using (StreamReader stream = new StreamReader(i + ".txt"))
{
ArrayData.Add(stream.ReadToEnd());
}
}

Файлы читает, но уж больно долго, а файлов много, в районе 15 000, но они все мелкие (по 30 кб).

[Luuzuk]

Ну 15000 файлов быстро и не прочтутся, накладных расходов на открытие/закрытие очень много

[L6go1as]

Сообщение от Luuzuk

Ну 15000 файлов быстро и не прочтутся, накладных расходов на открытие/закрытие очень много

Хм, а если открыть один и собственно один раз закрыть ?
т.е. разом открываем файлы, читаем, и так же разом закрываем.

Ну или в многопотоке пустить ?

[Rififi]

L6go1as

Не подскажите как правильно читать большой объем файлов типа txt ?

Ну или в многопотоке пустить ?

Ответ дан))

примерно так

async Task<string> Read(int i)
{
	using (var rd = new StreamReader(i + ".txt"))
	{
		return await rd.ReadToEndAsync();
	}
}

async Task<string> ReadAll()
{
	var sb = new StringBuilder();
	for (var i = 0; i < 15000; i++)
		sb.AppendLine(await Read(i));
	return sb.ToString();
}

var result = ReadAll().Result;

[L6go1as]

Спасиб за подсказку! Скорей бы домой попробовать.

А вот такой вопрос бывалым, как лучше хранить большие объемы данных ?
В тьме маленьких файлов (как сча у меня) или в одном но сцуко массивном ? )

[Luuzuk]

Сообщение от L6go1as

Спасиб за подсказку! Скорей бы домой попробовать.

А вот такой вопрос бывалым, как лучше хранить большие объемы данных ?
В тьме маленьких файлов (как сча у меня) или в одном но сцуко массивном ? )

В БД. Postgres, например