Обработка множества данных из текстового файла

[rubius2008]

Здравствуйте, уважаемые форумчане!
Поставлена следующая задача.
Имеется несколько текстовых файлов (4 и более), в каждом файле примерно 2600000 строк результатов, строки записаны в следующем формате:

i f i r r r r r x=i y=i z=i t=r

где i, r - какие-то числа (i - целое, r- вещественное); f - значение функции (вещественное число), зависящей от параметров; x,y,z,t - параметры, а после знака равно их значение.
Требуется переписать в другой файл, те строки, у которых параметры совпадают во всех файлах, а значение функции находится в заданных пределах.

[rubius2008]

Проблема заключается в том, что, если сравнивать параметры из одного файла с остальными и при этом имеется условие на окончание просмотра оставшейся части файла, при нахождении схожих параметров, то процесс (работа программы) затягивается на весьма продолжительное время, примерно, 2 месяца на сравнение 2 файлов. Программа написана на PascalABC.NET.
Посоветуйте, пожалуйста, более оптимальный алгоритм с наименьшим временем исполнения.

[Utkin]

Отсортировать содержимое файлов по некоторым критериям (например, следованию подряд значений параметров). Тогда рассмотрение строк можно осуществлять на небольшом участке (одинаковые параметры будут расположены рядом), а не скакать по всему файлу.

[min@y™]

ну вот, хоть что-то интересое попалось среди тонн шлака.
аффтар, вывали исходные файлы, буду посмотреть.

Отсортировать содержимое файлов по некоторым критериям

для начала я бы пропарсил файлы и перевёл строки в цифрУ. вот после этого можно отсортировать. видать, исходники - это логи какой-то софтины.

[Аватар]

2 месяца на сравнение 2 файлов

Полный абзац. Я бы в нормальную СУБД бросил данные. Пару с половиной лимонов записей в каждом файле не так уж и много. А дальше игрался бы запросами и минимум программирования, вернее совсем без него

[indexx]

Посоветуйте, пожалуйста, более оптимальный алгоритм.

А менее оптимальный лицезреть можно, или это тайна?

[Человек_Борща]

А менее оптимальный лицезреть можно, или это тайна?

Чтение StringList'ом. Не иначе

Файловый маппинг сильно ускорит обработку данных максимум до нескольких часов. Логи апача и поболее весят, и все равно читабельны, за пару сек открывает лог на 12 Гб.

[indexx]

Человек_Борща А если побить файлы на отдельные вычислительные потоки?

[rubius2008]

Спасибо всем за проявленный интерес, за ответы и предложения!
Решение компромиссное для себя пока нашел. Считываю значение функции в 3-х мерный массив с индексами x,y,z, благо это целые числа и не слишком большие (менее 1000). Оказалось, что четвертый параметр не важен.

indexx, побить на потоки - хорошая идея.

[Человек_Борща]

Человек_Борща А если побить файлы на отдельные вычислительные потоки?

Мне кажется это очевидным. Использовать потоки. Иначе и маппинг не поможет.