Оптимальный поиск и сравнение строк

[VintProg]

4 гига байта ты в память не как не поднимеш, то и есть в массив.

[Utkin]

Сообщение от VintProg

4 гига байта ты в память не как не поднимеш, то и есть в массив.

Это понятно, что не подниму, но теоретически длинные строки ограничены этим размером. А фактически сколько операционка даст. То есть вполне возможна ситуация когда один элемент пустая строка, а второй строка в пару сотен килобайт.

[VintProg]

Вообще можно сравнивать по блочно, загрузил кусок файла строк, проверил и выгрузил, и загрузил следующий кусок файла проверил, и так далее...

[Alex Cones]

"Потяну\Непотяну" - это проблемы пользователей, которые себе по 18 гигов оперативы ставят.

Как осуществляется добавление в массив? Может на этой стадии идти блоками памяти, проверяя их одинаковость?

[VintProg]

Как осуществляется добавление в массив? Может на этой стадии идти блоками памяти, проверяя их одинаковость?

Именно оптимальный вариант.

[Utkin]

Сообщение от Alex Cones

Как осуществляется добавление в массив? Может на этой стадии идти блоками памяти, проверяя их одинаковость?

Ну есть общий метод класса - добавление элемента в структуру. Если элемент строка (это определяется просто overload функциями), то он передается в нашу функцию. Она-то и должна добавлять в массив данную строку, а вместо нее возвращать индекс. Все дальнейшие манипуляции осуществляются с индексом (как-то копирование мегабайтных строк). Если строка уже существует, то передается ее индекс, а увеличение массива происходить не должно. Удаление аналогично. Есть одна структура, которая отслеживает число ссылок (сколько раз брали индекс массива). Если число ссылок меньше единицы строка выкидывается из массива. Все это не сложно и реализуемо. Вопрос в скорости при добавлении и поиска новой строки в массиве.

[Пепел Феникса]

а чем мой способ то не подошел?
сравнение блоков это прогон по памяти практически всей...

function phLCompareMem(Dest,Source:pointer;Count:integer):boolean;{register; думаю лучше добавлять}
asm
 push esi
 push edi
 mov esi,edx
 mov edi,eax
 xor eax,eax
 repe cmpsb
 jne @PEnd
 mov eax,1
@PEnd:
end;

[Utkin]

Да, собственно чем это отличается от if String1=String2 then? И это предполагает знание длинны. То есть сначала надо сравнивать по длинам (об этом я тоже думал, наряду с первым символом).

[Пепел Феникса]

так у нас строки это стандартный string?

ну я думаю длина нам все равно нужна

[Utkin]

Сообщение от Пепел Феникса

так у нас строки это стандартный string?

ну я думаю длина нам все равно нужна

У нас длинные строки, до 4-х гигабайт . Ваш вариант я понял - мерить сначала длины (для длинных строк это приемлимо).

ДОБАВЛЕНО:
Вот наваял, если кому интересно:

// Внесение строки в пул строк
// Возвращает индекс строки в хранилище
function TVectors.AddString (Value: String): Integer;
var
      L: Integer;
  I: Integer;
begin

      // Инициализация
      result:=-1;   // Строка не добавлена

      // Получим число символов в строке
      L:=Length(Value);

      // В массиве есть строки?
      if Length(Strings)>0 then
      begin

            // Сравниваем по длинам
            for I := 0 to Length(Strings)-1 do
            begin

                  // Длина строки
                  if Length(Strings[i].Value)=L then
                  begin

                        // Сравним строки
                        if Strings[i].Value=Value then
                        begin

                              // Увеличиваем число ссылок на данную строку
                              Inc(Strings[i].Link);

                              // Вернем индекс
                              result:=i;

                              // Работа закончена
                              Exit;
                        end;
                  end;
            end;
      end;

      // Строка не найдена? Тогда добавим в массив :)
      L:=Length(Strings);
      Inc(L);

      // Выделяем место под строку
      SetLength(Strings, L);

      // Инициализируем
      Strings[L-1].Link:=1;
      Strings[L-1].Value:=Value;
    
      // Передадим индекс
      result:=L-1;
end;
////////////////////////////////////////////////////////////////////////////////