Ищу самый быстрый способ работы с файлами

[trunc]

Здравствуйте, уважаемые форумчане.
Имею прибор, который с дикой скоростью (350 кГц частота дискретизации) передает измерения в компьютер. Пока время измерения было 1 мин. - делал динамический массив, информацию запоминал, а потом спокойно обрабатывал.
Теперь попросили увеличить время до 5-ти минут. А комп то слабенький (Селерон 1,6 при памяти 256 МГб), виснет гад.

Поделитесь, пожалуйста, опытом по таким вопросам:
1. Поможет ли сливание всего в файл?
2. Если да, то какой способ выбрать?
Рассматриваю варианты: 1)просто запись блоками, 2)отображение в память; 3)объектная работа с файлами.

В какой из способов рекомендуете внедряться, как в самый быстрый?
Заранее вам благодарен.

[Человек_Борща]

http://www.delphibasics.ru/AssignFile.php или http://www.delphibasics.ru/Assign.php
http://www.delphibasics.ru/Assigned.php
http://www.delphibasics.ru/ReWrite.php
http://www.delphibasics.ru/Write.php
http://www.delphibasics.ru/CloseFile.php или http://www.delphibasics.ru/Close.php

не использовать потоков(Tstream)...
Собственно TStream и основан на выше описанных методах.

Как вариант создать свой буффер памяти размером ну 50 мб минимум.
Данные с аппаратуры загоняются туда одним потоком, а второй поток успешно читает буфер и пишет в файл. Таким образом получается некий конвеер. Те. запись не на прямую(получил > записал) а (Получил > оставил в буфере > читаешь дальше[второй поток в этот момент загребает из буфера]).

Получается что-то ввиде конвеера. И думаю, что таким образом система не будет очень сильно нагружаться.


т.к. данные с аппаратуры > местечко в оперативе > отображение данных из оперативы в место на жостком диске.

Думаю варятли возможно отображать данные прямо на hdd без исп. оперативной памяти.

[Smitt&Wesson]

Думаю варятли возможно отображать данные прямо на hdd без исп. оперативной памяти.

Можно, но для этого нужно писать драйвер на Асме и работать через ПДП-канал минуя оперативу. Скорость передачи данных в 350кгц, это не очень высокая скорость. ПДП в паре с HDD может работать со скоростью примерно до 1 мгц.

[trunc]

Спасибо за ответы.

На счет Асма - че-то я очкую что не разберусь)
А вот насчет буферирования - похоже что надо попробовать.
Вот как я себе представляю:
1 делаю два буфера;
2 поток "приемник" по очереди их заполняет. В конце скидывает событие;
3 поток "сливатель" по событию записывает единым блоком каждый буфер в файл.

Нужно ли с приоритетами тут мутить, или и так заработает?

[Человек_Борща]

нет не так. Если 2 буфера. какой смысл?
Инфа из одного в другой, сама не переместиться.
один читает от начала второй пишет в конец.
допустим если буфер размером в 50 мб, то оба потока хапают только по 25 мб.

модно ещё сообщения между потоками запилить, чтобы первый не пытался читать пустой буфер ,а второй писать в переполненый.

[evg_m]

Инфа из одного в другой, сама не переместиться.

ей и не надо перемещаться. заполняем одни а сбрасываем другой. потом меняем их (указтели).
inputbuf:=buff1;
outbuff:=buff2;
заполняем buff1
сбрасываем buff2
потом делаем
inputbuf:=buff2;
outbuff:=buff1;
и теперь заполняем buff2
а сбрасываем buff2
а программы ни о чем и не догадываются как работали с inputbuf outputbuff так и работают. ну конечно же надо следить за местом в этих буферах.
собственно работает в основном прием данных. как только буфер заполнен переключаем буфера, инициируем сброс и продолжаем работу(прием).

[trunc]

Здается мне, что 1-н буфер, деленный на 2, это то же самое, что 2- буфера.
Но в целом дело ясное, буду пробовать