Скорость записи файла (исследование)

[kta87]

Проводил исследования скорости записи файлов, с целью установления зависимости времени записи от количество файлов. Для работы с файлами использовал чистый WinAPI. Исследование проводилось на файлах разных размеров, типов и расширений. Хочу поделиться на мой взгляд интересными результатами исследования на примере одного файла (с другими файлами результаты идентичны в физическом смысле):
Файл: *.jpg;
Размер файла: 13376719 байт;
Количеств записанных байт увеличиваем по формуле Y=X^2, начиная с 64 байт. Максимальная длинна записи для этого файла составляет 8388608 байт. На исследование выносилось два параметра: Время записи, сек и скорость записи, байт/сек * 10^3. Скорость записи вычисляется как отношение количества записанных байт к общему времени записи.
Результаты исследования времени записи и скорости записи представлены на рисунках 1 и 2 соответственно.

Рис. 1 - Время записи.


Рис. 2 - Скорость записи.

Как видно из результатов исследования время записи плавно увеличивается до определенного момента, затем наблюдается резкое уменьшение времени, затрачиваемого на запись. Поведение скорости записи соответствует представленной картине, т.е. наблюдается падение скорости записи, затем резкое увеличение. Экстремум соответствует записи длинной в 65536 байт.
Обсуждение: С чем связанно такое поведение исследуемых параметров и что это за магия такая с числом 65536?

[DiemonStar]

Например, в системе нашелся еще один потребитель жесткого диска и немного подвинул ваш тест... или с методикой измерений что-то не то...

[waleri]

Есть внутренние буфера, и (насколько я помню) их размер кратен 256К.
Отсюда любая операция не кратная 256К требует лишних телодвижений.

[Larboss]

Может быть я ошибаюсь, но более "чистый" тест можно сделать только в однозадачной операционной системе. Разве жесткий диск не отвлекается на чтение/запись, инициированные другими приложениями?

[intmain]

кэши записи в винде же, очистка кэшей.
галки в свойствах винта убирите (или обе поставте) и тестите снова.

[Человек_Борща]

А ещё через msconfig вырубить все сервисы и перейти в безопасный режим.

[kta87]

Тесты не однократно повторялись результат не оспорим. Чистота эксперимента выдержана. (Я же писал разные файла...) Всегда замечено резкое увеличение скорости записи после длинны равной 65536.
Интересно рассуждение именно на эту тему. Есть подозрения, что ситуация схожа с геометрией HDD и секторами длинной в 512 байт. Только вот не понятно почему именно 65536...
waleri, почему 256 байт, поделитесь источником

[pproger]

2kta87

Всегда замечено резкое увеличение скорости записи после длинны равной 65536

с чего ты взял, что данные физически сбрасываются на диск? скорей всего они в кеше сидят. файл открываешь с O_SYNC | O_DIRECT (или что там в винде)?

типов и расширений.

гениально.

[kta87]

Сообщение от pproger

2kta87

с чего ты взял, что данные физически сбрасываются на диск? скорей всего они в кеше сидят.

И какая разница? Диск или кеш. Суть в записи длинны байтов. Когда я работаю с файлом он полюбас в кеше, он же открыт! А по завершению записи закрывается. Сколько шагов от 64 до 65536? И о чем это говорит?

гениально.

Интеллектуальный флуд!

[Человек_Борща]

kta87, чем меньше ячейка тем проще и быстрее её записать. Читающая головка всего одна. Жесткий диск - это тоже файл. Но работает он совсем по другому, и одновременный доступ к этому файлу разрешен.

Только вот не понятно почему именно 65536...

Таков максимальный размер машинного слова 2^16 для архитектуры процессора x86, для x64 длинна составляет 2^32.