сортировка строк в txt

[Шушелла]

Привет.
У меня такая проблема-надо отсортировать строки в файле по трем столбцам.Строк очень много-около 30000000, поэтому структуры данных типа массива отпадают при реализации.Подскажите, что можно сделать..Язык-лучше C#

[dampirik]

Вот те новость.... а почему отпадает структура типа массив? Я еше понимаю в переменную одну не влезут, а почему массив то отпадает?

Как я понимаю сейчас в файле имеется слова(по одному в строчке) и данных строк 30 000 000. Угадал?

Создаете массив стринг

string[] s = new string[30000000];

Открываете файл, считываете построчно и записывайте данные в массив s.
Потом как вам нужно группируете ... можно создать еще дополнительный массив типа:

string[] sOut = new string[10000000];//тк три слова в предложении

в него записывайте как вам нужно s
И перезаписывайте построчно в файл массив sOut...
Вроде все....

[Шушелла]

Спасибо,но это должно очень медленно работать)

[dampirik]

Спасибо,но это должно очень медленно работать)

из каких соображений?
Массив размерностью 5000х3000 записывается почти моментально....
Если это вы переведете в мегабайты и сравните со скростью записи на жеский, то поймете, что это довольно мало)

[Шушелла]

PHP код:

 string[] lines = File.ReadAllLines(path); 


Выполнялось 3 часа,а потом выпало с outofmemory exception

[akasex]

StreamReader file = new StreamReader(filePath); 
string line = String.Empty;
while ((line = file.ReadLine()) != null) 
{ 
      .....
}

[dampirik]

Выполнялось 3 часа,а потом выпало с outofmemory exception

Код в студию!

string time="";
string path="data.txt";
DateTime dt=DateTime.Now;
string s[] = new string[30000000];
for(int i=0;i<s.Length;i++)
{
s[i]="dasdasdafsfsdfds";
}
time="Создание массива: ";
time+=(DateTime.Now-dt).ToString()+"\n";
DateTime cr= DateTime.Now;
using(StreamWriter sw= File.CreateText(path))
{
for(int i=0;i<s.Length;i++)
{
sw.WriteLine(s[i]);
}
}
time+="Запись  массива: ";
time+=(DateTime.Now-cr).ToString();
this.label1.Text=time;

Результаты:
Создание массива: 00:00:00.2430196
Запись массива: 00:00:03.9493975

Это не есть быстрые функции, но наглядно показывают время работы...

[Шушелла]

Переписала на ваш манер) если уж ReadAllLines() не хочет работать)
Ну вот уже 30 мин читает в массив..

class StringComparer : IComparer<string>
        {
            public string[] split1;
            public string[] split2;
            public int Compare(string s1, string s2)
            {
                split1 = s1.Split('\t');
                split2 = s2.Split('\t');
                s1 = split1[0] + split1[1] + split1[0];
                s2 = split2[0] + split2[1] + split2[0];
                return (s1.CompareTo(s2));
            }
        }
        static void Main(string[] args)
        {
            string s;
            int inc = 0;

            string[] str1 = new string[30000000];

            string path = "E:\\ms_new.txt";
            string path1 = "E:\\ms_new1.txt";
       
            StreamReader file = new StreamReader(path); 
            string line = String.Empty;
            int p=-1;
            while ((line = file.ReadLine()) != null) 
            { 
                  str1[++p]=line;
            }
            Array.Resize(ref str1, p + 1);
            Array.Sort(str1, new StringComparer());
            using (StreamWriter sw = File.CreateText(path1))
            {
                for (int i = 0; i < str1.Length; i++)
                {
                    sw.WriteLine(str1[i]);
                }
            }

           
        }
    }

[m0nax]

пол часа там сортировка идет, а чтение и запись максимум 2-3 минуты

[dampirik]

пол часа там сортировка идет, а чтение и запись максимум 2-3 минуты

Ну это смотря как сортировать....
Поставьте временные метки и продемонтрируйте....