Читать много файлов по несколько байт win32

[_Osaka]

Есть папка в ней много файлов. Файлы не больше 8 байт. Надо их читать и делать небольшие вычисления. Как это лучше делать?
Наверно лучше под каждый файл выделять поток. Т.к. параллельно чтение файлов лучше последовательного (контроллер диска полечат сразу много команд на чтение и имеет возможность их оптимизировать, а не простаивает). Однако количество потоков ограничено. Потому придётся использовать всё тоже самое но в пуле потоков.
Может я где-то не прав? Может придумываю костили? Какие у вас идеи?

[alexcoder]

Лучше слить их в один файл, загрузить его весь в память и обращаться к маленьким частям прочитанного файла как к целому исходному файлу.

[Pavia]

Слить в один файл так, как время открытия файла достаточно велико. 0,1-0,3 с.

(контроллер диска полечат сразу много команд на чтение и имеет возможность их оптимизировать, а не простаивает

Это даже маркетологи не подтверждают.
Лучше один поток на чтение он будет работать быстрее.

[Croessmah]

Наверно лучше под каждый файл выделять поток. Т.к. параллельно чтение файлов лучше последовательного

А у жесткого диска двигателей тоже несколько,
чтобы работать параллельно?
Ничего кроме "забивания" ввода/вывода Вы этим не добьетесь.
А если еще и файлов много и на каждый отдельный поток,
то еще и затормозите свою программу.
Больше потоков - не значит лучше.

[_Osaka]

А на уровне операционной системы нет такой оптимизации?

[_Osaka]

Мне просто дали такое задание:
На компьютере существует папка с файлами. Файлов много, их имена заранее неизвестны, в каждом файле записано целое число (необходима дополнительная проверка на корректность содержимого файла).
Нужно написать консольное приложение win32, которое принимает на вход путь к папке и обрабатывает файлы следующим образом:

Для каждого файла нужно выполнить следующий порядок действий:
1. прочитать из файла число
2. сразу же, после получения числа, нужно вывести его и имя файла в stdout, например:
o.txt: 3
3. после этого необходимо усыпить текущий поток на 1 секунду

После обработки всех файлов необходимо сообщить пользователю сумму всех чисел.
Дополнительные условия:
- программу следует писать в IDE Microsoft Visual Studio
- будет преимуществом использование библиотеки Boost
- программа должна обрабатывать файлы параллельно

Как его лучше сделать? Сделал каждый файл в своем потоке.
Может надо в пуле потоков? Каким лучше сделать размер пула?

[Croessmah]

2. сразу же, после получения числа, нужно вывести его и имя файла в stdout, например:
o.txt: 3
3. после этого необходимо усыпить текущий поток на 1 секунду

Эти два требования убивают любую оптимизацию.
При их наличии можно что угодно писать,
программа всё равно будет тормозом.

Как его лучше сделать?

directory_iterator (recursive_directory_iterator) + std::async + std:: packaged_task, например.

[waleri]

Если надо показывать файл за файлом, да еще с интервалом, тогда я не понимаю, зачем это делать параллельно, либо условие недосказано и там написано "параллельно чему-то там".

[_Osaka]

Это полость тест задания.