Удалить повторы строк

[Federal]

У меня в Мемо1 список предметов, в Мемо 2 второй список предметов
Мемо1

Дерево
Зуб
Лопата
Носоковырялка

Мемо2

Матрас
Палас
Зуб
Лопата
Ложка

Список примерно около 500 000 наименований
Как замутить так чтобы в Мемо 2 все те предметы которые есть в Мемо 1 были удалены, причем что бы все это безобразие не тормозило?

[Federal]

var
i,k: integer;
procedure TForm1.Button1Click(Sender: TObject);
for i:=0 to Memo1.Lines.Count-1 do
  begin
  for k:=0 to Memo2.Lines.Count-1 do
    begin
    if Memo1.Lines[i]<>Memo2.Lines[k] then Memo3.Lines.add(Memo2.Lines[k]);
    end;
  end;
end;

Это дело естественно виснет

[Человек_Борща]

тот же самый код с пересчетом строк memo1 и memo2 только используй эти функции: AnsiCompareStr
или
AnsiCompareText

[Federal]

Сообщение от Человек_Борща

тот же самый код с пересчетом строк memo1 и memo2 только используй эти функции: AnsiCompareStr
или
AnsiCompareText

в моем случае я хочу избежать пересчет строк
500 000 строк умножить на 500 000 строк это 250 000 000 000 циклов комп захлебывается когда пытается обработать такой цикл

[onewho]

помоему тут не обойтись без этого количества просмотров. можно воспользоватся например бинарным поиском, но обязательное условие - сортированные данные.

[Federal]

Сообщение от onewho

помоему тут не обойтись без этого количества просмотров. можно воспользоватся например бинарным поиском, но обязательное условие - сортированные данные.

Ну допустим я данные сортирую по алфавиту, пни меня в нужное напрваление, или лучше пример

[onewho]

я бы и рад помочь да особо не знаю чем.
в С есть готовая функция bsearch, в паскале по-видимому нет
вот что нашел- тут вроде неплохо описано
http://www.cyberguru.ru/programming/...ia-page19.html
если функция вернула 0 переносить слово(ключ), иначе не переносить...

[Serge_Bliznykov]

ребят, ну что же Вы велосипед изобретаете.
Когда всё изобретено до нас

1) откажитесь от Memo
(используйте TStringList)
Это тоже самое, что Memox.Lines только отсутствие визуализации очень положительно скажется на быстродействии.

2) отсортируйте первый список :
TS1.Sort;

3) цикл по второму списку и те значения, которых нет в TS1 - переносите в третий список (это, в общем случае, будет быстрее, чем удалять элементы списка)
для поиска элементов в TS1 используйте метод Find
примерно так:

  TS1.Sort;
  TS3.Clear;
  for i:=0 to TS2.Count-1 do
     if Not TS1.Find(TS2.Strings[i], Index)  then TS3.Append(TS2.Strings[i]);

4) в любом случае за считанные мгновения данная задача решена не будет (ибо 500 тысяч - это 500 тысяч)
Если нужно часто и быстро решать подобную задачу - пересматривайте логику работы.

5) для решения подобной задачи целесообразно, имхо, использовать SQL + хорошую большую мощную СУБД: MS SQL, Oracle и т.д. Они "заточены" под эффективную обработку огромных массивов информации...

p.s. а откуда подобные задачи возникают, если не секрет?...

[Federal]

Спасибо, это уже в разы грамотно...
Я брутил сервер игры Lineage, проверил первую базу аккаунтов
их там 250 000 ак, откапал вторую базу в 500 000 аккаунтов,
ну и мне естественно не хотелось что бы во второй базе не встречались аккаунты из первой базы.
Вот откуда такая задача мне пришла. Порылся в интернете в поиске готовой программы, но толкового не нашел...
Попробывал сам состряпать с мизерными знаниями Delphi, оказалось не все так просто

[onewho]

Сообщение от Federal

Спасибо, это уже в разы грамотно...
Я брутил сервер игры Lineage, проверил первую базу аккаунтов
их там 250 000 ак, откапал вторую базу в 500 000 аккаунтов,
ну и мне естественно не хотелось что бы во второй базе не встречались аккаунты из первой базы.
Вот откуда такая задача мне пришла. Порылся в интернете в поиске готовой программы, но толкового не нашел...
Попробывал сам состряпать с мизерными знаниями Delphi, оказалось не все так просто

ахахахах!
я месяц назад именно для этой цели (отсев повторов аккаунтов) писал прожку. работает она напролом конечно , ну 100к аккаунтов гдето за 30 сек обрабатывает. не такие уж там и тормоза как ты написал.