Обработка файлов 1-5 гигабайт

[min@y™]

дадут НЕ ПРИНЦИПИАЛЬНУЮ разницу в быстродействии

Шутишь?

Проверите?

Понаписать тестовую прогу?

[Аватар]

Серж, на больших файлах должно дать. При маленьком блоке больше обращений с жесткому диску. На маленьких файлах разницы особой нет - там кеширование файла операционкой свою роль должно сыграть, и все операции чтения по сути с ОП. А вот на больших будет значительная разница, должна быть. Не проверял на гигабайтах

[evg_m]

TStringList, TFileStream, FileMapping ВСЕ это средства для ОБЕСПЕЧЕНИЯ удобной РАБОТЫ ПАРСЕРА.

Есть парсер, но обрабатывает куски данных не больше 10-12 мегабайт. При 50 начинает подвисать, с потугами но и их обрабатывает.

Парсер должен прочитать (С ДИСКА) файл как минимум ОДИН раз(видимым для программиста образом), и возможно много-много раз еще оттуда же (но уже "незаметно" для программиста ).
Короче говоря хотите получить дельные советы по ускорению.
1) озвучьте ИСХОДНУЮ задачу. (задачу которую должен делать парсер).
и не только парсер, ведь ЕГО(парсера) результатами кто-то пользуется (по крайней мере они куда-то складываются в формате удобном для ПОСЛЕДУЮЩЕЙ обработки/анализа).
2) код парсера в студию.

пример "очень простого" улучшения на StringList
почти незаметного для программиста, но очень заметного для компьютера.

Сообщение от blblbl-org

Евгений, так у меня так же и сделано (в первом сообщении код).. Это единственный, наиболее быстрый способ получается?

Сообщение от blblbl-org

Евгений, спасибо.
Скорость выросла в 6 раз )

[Serge_Bliznykov]

Сообщение от min@y™

Понаписать тестовую прогу?

ну, если не сложно.
я бы сам проверил, но я сейчас "безлошадный" (Delphi под рукой нет).
посмотрим, насколько я ошибся!

Сообщение от Аватар

Серж, на больших файлах должно дать. При маленьком блоке больше обращений с жесткому диску.

ну да, по логике так и есть.
Но у меня сложилось впечатление (возможно, что и ошибочное), что TFileStream.ReadBuffer уже использует кеширование. Хотя, конечно, возможно, что я наблюдал дисковый кэш операционнки, не буду спорить.
Вот поэтому и хотелось бы увидеть конкретную фактическую разницу.

[come-on]

уже использует кеширование.

Для больших файлов и мапинг и кэш, все используется. Система это делает на низком уровне. Гдето у Рихтера про это написано.

[Utkin]

Ну основное правило - читать блоками кратными кластерам жесткого диска. Даже если размер блока будет больше, но не кратный, то скорость все равно упадет. Поэтому берете 4К и кратно грузите сколько Вам надо за один раз. Даже если Вам надо реально меньше, все равно грузить 4к будет быстрей.

[min@y™]

я бы сам проверил, но я сейчас "безлошадный" (Delphi под рукой нет).

А чо так? Хош продам копию?

Хы. Смотрите, как интересно работает кэширование.



Исходники, могу дать, кому интересно.

[Serge_Bliznykov]

Спасибо. Наглядно и весьма любопытно!

Как я понимаю, наивысшая скорость при размере блока в 64 кб ?
(кстати, а что у Вас с винта реально читается 880 Мб в секунду? В тестах?)

исходники. да нет, пожалуй в них нет необходимости...

[min@y™]

не понял вопроса.
поясни.

[Pavia]

Исходники не нужны. Тест конечно кросивый.

Это КЭШ операционной системы выдаёт 880 МБ/с. HDD больше 200 Мбайт/с я не видел. А так обычно 100-150 МБайт/с. SSD до 500-600 МБайт/с выдают.

Начиная с Win Visat ОС использует всю свободную память под файловый кэш. Когда писал свою программу для измерения скорости диска делал очистку кэша. Для этого просто выделял кучу памяти что-бы вытеснить кэш из памяти.

А так оптимальный размер 256 КБайт.