Удалить дубликаты строк

[Poma][a]

А ограничить строку?

NodeType = record
      Val  : string[4];
      Prev : PNodeType;
      Next : PNodeType;
   end;

[Utkin]

Кода нет, есть только екзешник и известно что афтор использовал стандартный stdl:qsort

Сортировка это другой алгоритм совершенно. Причем здесь си? Вы же перебираете в лоб. Очевидно автор, нашел менее затратный алгоритм с использованием сортировки.

[Tronix]

Я не могу отсортировать ~500 Mb файл не отожрав при этом около 2-ух гиг памяти, а автор екзешника на Си справляется с сортировкой того же файла отожрав примерно 600 Mb.

[ReportCube]

Попробуйте открыть файл как БД с помощью того же Microsoft.Jet.OLEDB.4.0, группируйте и сортируйте с помощью SQL.

[Utkin]

Я не могу отсортировать ~500 Mb файл не отожрав при этом около 2-ух гиг памяти, а автор екзешника на Си справляется с сортировкой того же файла отожрав примерно 600 Mb.

Значит он использовал другой алгоритм вот и все
Вот немного не правильный вариант, однако его можно попытаться допилить до нужного. Взять и слить оба файла в один, отсортировать и выкинуть дубликаты (на этапе сортировки).