Не хватает памяти для сортировки

[shvarz23]

У меня есть текстовый файл с числовыми рядами, в файле больше 8 миллионов строк по 6 чисел через пробел.
Я их построчно считываю в строковый массив и начинаю парсить в цикле из строкового массива и заношу их в коллекцию.

В коллекцию занес и начинаю сортировать и тут выскакивает ошибка , что не хватает памяти.
я посмотрел в диспетчере памяти вроде хватает,с включенным хромом есть скрин и без включенного хрома.

Хотя, если еще суммировать то, что 1888 мб памяти идет на выделение на видео чип, то получается не хватает.

Вот код коллекции, напишите как можно оптимизировать , может можно как-то удалять сразу допустим строковый массив ,а не ждать пока компилятор сам удалит из кучи:

class RadRad 
    {
        public double caPosl { get; set; }
        public ulong indPosl { get; set; }
        public double x1 { get; set; }
        public double x2 { get; set; }
        public double x3 { get; set; }
        public double x4 { get; set; }
        public double x5 { get; set; }
        public double x6 { get; set; }
        public double x7 { get; set; }
    }



listrad = listrad.OrderBy(x => x.caPosl).ThenBy(x => x.x1).ThenBy(z => z.x2).ThenBy(y => y.x3).ThenBy(s => s.x4).ThenBy(h => h.x5).ThenBy(u => u.x6).ToList();

Да и еще ,пробовал выводить не весь массив (8млн строк), а только 2 милиона строк , программа работает без ошибок.

напишите пожалуйста как с этим бороться, заранее спасибо..
Скрины прикреплены.

[p51x]

Гуглить по словам - внешняя сортировка. И стоит начать ходить на занятия, хотя бы для того, чтобы знать по каким словам гуглить.

[shvarz23]

сейчас еще раз проверил, на 4,8 милиона строк сортирует нормально без ошибок, а на 4,9 миллиона строк уже ошибку выдает, хотя памяти еще дофига .
В чем проблема подскажите, как можно решить или обойти?

[shvarz23]

Сообщение от p51x

Гуглить по словам - внешняя сортировка. И стоит начать ходить на занятия, хотя бы для того, чтобы знать по каким словам гуглить.

Я уже давно не хожу на занятия, отучился.
Может нужно типы другие использовать, decimal например .
Ну кто-нибудь напишите или скажите куда идти искать , только не на 3 буквы и не на 5.

[Пепел Феникса]

как минимум вам LINQ тут не подходит.
LINQ создает копию данных.

памяти может еще и есть, но вот выделить большой массив не выходит.

ну и в идеале да, внешняя сортировка.
как банальный вариант можно БД юзать.

[pu4koff]

Для чего данные в итоге нужны? Если нужно просто файл отсортировать - это одно, если показать упорядоченные данные - другое.

[shvarz23]

Сообщение от pu4koff

Для чего данные в итоге нужны? Если нужно просто файл отсортировать - это одно, если показать упорядоченные данные - другое.

Да отсортировать, а выводить я их все равно буду по 30 штук из массива, так как там памяти не хватит для вывод всех 8 миллионов строк в датагридвием.

[shvarz23]

Сообщение от pu4koff

Для чего данные в итоге нужны? Если нужно просто файл отсортировать - это одно, если показать упорядоченные данные - другое.

данные нужны для сортировки и потом вывод их на экран, выводить буду частями, если внешнюю сортировку делать хз, если бы была зада просто от наим к наибольшему расположить , то да.
А там по разрядам сравнивать в строке, по максимальному сзначению сред ариф в строке, и ранжировать ряды ...

[p51x]

Тогда БД

[pu4koff]

Вариантов несколько:
1) Внешнюю сортировку можно под что угодно адаптировать. Для средних арифметических может придётся лишний раз файл перечитывать, но зато на выходе будет отсортированный файл, который можно будет относительно быстро читать кусками в грид и не нужно будет переупорядочивать при следующем запуске программы.
2) Файл в принципе подходит под формат csv, можно попробовать посмотреть в сторону OleDb провайдера который Microsoft Jet, он вроде умеет этот формат. Но я сомневаюсь, что этот провайдер как-то волшебным образом всё отсортирует на лету
3) Раз уж у нас пагинация нарисовывается, то просто при получении каждой порции данных читать весь файл построчно. При получении первых элементов всё просто. Читаем строку из файла, помещаем в свою упорядоченную коллекцию на соответствующее место. Если коллекция стала содержать больше 30 элементов, то удаляем последний. И так читаем все строки файла и на выходе будет первые 30 элементов. Немного заморочиться и можно будет сделать по этому принципу получение 3-й страницы из 30 элементов. Минус тут в скорости получения страниц данных - на каждый чих будет полностью файл перечитываться, но памяти много не будет нужно.