Автоматизация редактирования txt

[_SERGEYX_]

Я попробовал несколькими "заумными" способами, но, как ни странно, самым быстрым оказался обычный StringList.

procedure TForm1.RzBitBtn1Click(Sender: TObject);
var sl: TStringList;
  i: Integer;
begin
  sl := TStringList.Create;
  sl.LoadFromFile('proba.txt');
  for i := 0 to sl.Count - 1 do
    sl[i] := sl[i] + ' 0 0';
  sl.SaveToFile('proba_new.txt'); //новый файл
  sl.Free;
  ShowMessage('Готово');
end;

Файл в полтора миллиона строк делает примерно за 2 сек.

[Serge_Bliznykov]

угу. попробовал. через TFileStream почти минуту обрабатывало 1.5 миллиона строк (через TStringList около 4 секунд).

зато столько же (визуально, точно тики не мерял, занял простейший код через TextFile + Readln / WriteLn

procedure TForm1.Button4Click(Sender: TObject);
var f,f2 : TextFile;
  buf  : array[1..32*1024] of byte;
  buf2 : array[1..32*1024] of byte;
  s    : shortString;
begin
  AssignFile(f,'proba.txt');
  System.SetTextBuf(f, buf);
  Reset(f);
  AssignFile(f2,'proba_new.txt');
  System.SetTextBuf(f2,buf2);
  Rewrite(f2);
  while not eof(f) do begin
     Readln(f,s);
     Writeln(f2,s + ' 0 0');
  end;
  CloseFile(f2);
  CloseFile(f);

  ShowMessage('Готово');

end;

[unbanned]

сколько знаков каждой строке примерно? 10? 100? 1000? 10млн?)))

[Serge_Bliznykov]

unbanned, а какая разница?
судя по то, что файлы 10-15 миллионов строк и размером от 40 до 200 мб - в кажой строке примерно 10-20 знаков в каждой строчке..

я считаю, что тему можно считать закрытой.
Предложено как минимум два полных и рабочих варианта. работать они должны, примерно, конечно, менее минуты...

[unbanned]

Сообщение от Serge_Bliznykov

угу. попробовал. через TFileStream почти минуту обрабатывало 1.5 миллиона строк (через TStringList около 4 секунд).

зато столько же (визуально, точно тики не мерял, занял простейший код через TextFile + Readln / WriteLn

procedure TForm1.Button4Click(Sender: TObject);
var f,f2 : TextFile;
  buf  : array[1..32*1024] of byte;
  buf2 : array[1..32*1024] of byte;
  s    : shortString;
begin
  AssignFile(f,'proba.txt');
  System.SetTextBuf(f, buf);
  Reset(f);
  AssignFile(f2,'proba_new.txt');
  System.SetTextBuf(f2,buf2);
  Rewrite(f2);
  while not eof(f) do begin
     Readln(f,s);
     Writeln(f2,s + ' 0 0');
  end;
  CloseFile(f2);
  CloseFile(f);

  ShowMessage('Готово');

end;

я бы в цикл добавил бы

Application.ProcessMessages;

чтоб винда не закрывала программу...
и можно закрывать тему))) мне этот вариант больше нравиться...

Сообщение от Serge_Bliznykov

unbanned, а какая разница?

просто поинтересовался, потому что если бы в каждой строке было даже по 1 млн символов, то такой вариант не подошел бы (про размеры файлов пост не увидел)

[Serge_Bliznykov]

Application.ProcessMessages;

согласен с Вами. и, хоть это явно плохо скажет на производительности, зато очень положительно - на "отзывчивость" программы.
В реальной жизни ещё можно и статусбар или прогрессбар прикрутить. Работы на пять минут, а пользователю сразу станет лучше жить - он будет видеть, что программа делает, и сколько ещё осталось..

мне этот вариант больше нравиться...

ну, я бы лично рекомендовал сравнить два варианта и выбрать более подходящий. Кстати, мне лично вариант с TStringList нравится больше. Он проще визуально, да и явно не медленнее. так что, если не будет противопоказаний, то стоит использовать именно его.

просто поинтересовался, потому что если бы в каждой строке было даже по 1 млн символов, то такой вариант не подошел бы

ну, я бы не стал так категорически утверждать.
достаточно изменить описание s : ShortString на s : String; (по умолчанию String равен AnsiString) и всё.
можно строчки по 2 миллиарда символов читать/писать!


p.s. думаю, что тему можно будет закрывать, когда VeroStat об это скажет...

[unbanned]

Сообщение от Serge_Bliznykov

достаточно изменить описание s : ShortString на s : String; (по умолчанию String равен AnsiString) и всё.
можно строчки по 2 миллиарда символов читать/писать!

хм...когда читается строчка из файла она ж остается в оперативке? так? в лучшем случае программе будет доступно гига 2... 2 048 * 1 024 = 2 097 152 байт... ну значит примерно столько же символов можно прочитать из файла. Т.е. если символов будет больше, тупо программе не хватит памяти

[Пепел Феникса]

хм...когда читается строчка из файла она ж остается в оперативке? так? в лучшем случае программе будет доступно гига 2... 2 048 * 1 024 = 2 097 152 байт... ну значит примерно столько же символов можно прочитать из файла. Т.е. если символов будет больше, тупо программе не хватит памяти

программа в памяти держит всего лишь последнюю считанную строку(не думаю что она 2Гб будет)

[unbanned]

Сообщение от Пепел Феникса

программа в памяти держит всего лишь последнюю считанную строку(не думаю что она 2Гб будет)

именно так. дак если строчка будет длинной 2,5 млн символов, то она будет даже больше 2х гигов

[Пепел Феникса]

это очень странный txt