Быстрое удаление дублирующихся слов :).

[Utkin]

В общем имеется некое количество конструкций языка программирования. Большинство из них многословные, причем слова могут повторяться между собой, например:

создадим переменную Х
создадим локальную переменную Х
создадим массив У

Так вот, я их всех собрал в одну большую строку (ну порядка 500-600 слов). Теперь мне надо удалить все повторяющиеся - в данном примере оставить создадим переменную локальную массив.
У меня есть такие операции, для которых строка это множество слов (и даже есть операция приведения строки ко множеству - то есть удаления дублирующихся элементов). Но они неэффективны при большом числе слов, при старте программы происходит задержка в несколько секунд, это довольно-таки долго. Сравнимо с загрузкой Ворда, при функциях чуть ли не обычного Блокнота. Какие будут предложения?

[Alex Cones]

В голову приходит только следующее:
1) Вносим все слова в массив,
2) Обрабатываем массив на повторения, получаем номера слов в отдельный массив.
3) В цикле идем по всем словам, которые повторяются (обращаясь к их номерам из массива):

For N:=0 to Length(M2)-1 do
 While Pos(M1[M2[N]],S)<>0 do Delete(S,Pos(M1[M2[N]],S), Length(M1[M2[N]]));

[Utkin]

Да, я держу такой вариант как крайний случай .

[Alex Cones]

А нет возможности удалять повторы при получении строки (ввода или что там?). Например, когда вводится слово - копировать его и в нормальную строку и в ту, "урезанную". Но в "урезанную", только, если его там еще нет.

[Stilet]

Ну знач и я свои пять коп:
Допустим есть текст в Мемо который нужно "ужать" убрав дубликаты. Тогда код:

var e,s,q:string;k,i:integer;
begin    q:='';
 for i:=0 to Memo1.Lines.Count-1 do begin
  e:=trim(Memo1.Lines[i])+' ';
  k:=pos(' ',e);
  while k<>0 do begin
   s:=copy(e,1,k);
   if pos(s,q)=0 then q:=q+' '+s;
   delete(e,1,k);
   k:=pos(' ',e);
  end;
 end;
 caption:=q;
end;

Будет достаточно прост и оптимален для этой задачи, так как основные функции в нем ассемблерные.
И никакого лишнего массива

[Utkin]

Сообщение от Alex Cones

А нет возможности удалять повторы при получении строки (ввода или что там?). Например, когда вводится слово - копировать его и в нормальную строку и в ту, "урезанную". Но в "урезанную", только, если его там еще нет.

Затраты будут те же. Все равно это надо делать при старте проги. Сначала определить не могу, была бы такая возможность - я бы задал сразу константу без дубликатов. Проблема в том, что при загрузке нельзя сказать будут ли слова те же самые или нет (допустим кому-то захочется перейти на английский).

Сообщение от Stilet

Ну знач и я свои пять коп:

Ну я как потестю оба варианта, отпишусь какой лучше.

[maxionans]

А еще можно задействовать функцию StringReplace:

  NewString := WordToRemove + StringReplace( 
    OldString, {Строка, в которой нужно удалить повторяющиеся слова}
    WordToRemove, {Слово, которое нужно удалить}
    '', {Пустая строка - заменяет удаляемое слово}
    [ rfReplaceAll, rfIgnoreCase ] {Удаляем все вхождения слова, игнорируя регистр}
  );

[Serge_Bliznykov]

ну и я свои 5 копеек добавлю... попробуйте на скорость и такой подход:

если в том коде, который разбирает строку на слова (который и формирует "множество"), использовать TStringList:

var TS : TStringList;
begin
  TS := TStringList.Create;
  TS.Sorted := true;
  TS.Duplicates := dupIgnore;
...
  TS.Append (Очередное_слово);

то в TS будут только уникальные слова.

Только обратите внимание, что при таком решении они будут отсортированы. Если это не устраивает, то такое решение Вам не подходит.

[Stilet]

{Слово, которое нужно удалить}

Этих слов будет много, придется вызывать многократно эту функцию, так что этот подход прироста скорости не даст.

Serge_Bliznykov

Все верно, но тут маленькое но - твоя идея предполагает добавлять слова либо сразу при вводе, либо распарсивать построчно уже готовый текст. Это не сложно, но по-моему на скорость повлияет.

[Utkin]

Все слова заданы в одной строке, если бы я мог их контролировать при вводе - я бы просто не допустил такую строку. Это служебная информация - которая выдается интерпретатором по требованиям редактора подсветки. Интерпретатор - это объект определенного класса. Редактор создает интерпретатор, тот инициализируется (загружает наименования своих команд, имена функции и т.д. из внешних файлов). Таким образом, я не знаю какую строку получу при следующем запуске - пользователь может сменить синтаксис команд языка - сделать например английские наименования команд или вообще использовать иероглифы для китайцев.

если в том коде, который разбирает строку на слова (который и формирует "множество"), использовать TStringList:

В том юните только процедуры и функции и никаких ссылок на сторонние классы. В общем все берется из модуля System и моих юнитов.