Алгоритм поиска HEX строки в файле

[Vlad_3310]

Помогите пожалуста оптимизировать алгоритм поиска HEX строки в файле, а то уж больно долгий он у меня, или посоветуйте другой способ.

  type
    SBMTable = array[0..255] of byte;

  type
    Buffer = array of byte;
...
var
BUF : Buffer;
...
function BMSearchInBUF( StartPos : BYTE; const S: Buffer; HEX: ShortString) : Integer;
  var
  Pos        : DWORd;
  I          : DWORd;
  BMT        : SBMTable;
  LEN        : DWORd;
  InputArray : Buffer;
begin
  LEN := (Length(Hex) div 2)-1;
  SetLength(InputArray,LEN+1);
  for I := 0 to LEN  do
    InputArray[I]:=StrToInt('$'+Copy(Hex, (I+1) * 2 - 1, 2));
  for i := 0 to 255 do BMT[i] := LEN;
    for i := LEN downto 0 do
      if BMT[(InputArray[i])] =  LEN then
         BMT[(InputArray[i])] := LEN - i;
  Pos := StartPos + LEN -1;
  while Pos < Length(S)-LEN do
    if InputArray[LEN] <> S[Pos] then
      Pos := Pos + BMT[S[Pos]]
      else for i := LEN - 1 downto 1 do
            if InputArray[i] <> S[Pos - LEN + i] then
            begin
              Inc(Pos);
              Break;
            end
            else if i = 1 then
            begin
              Result := Pos - LEN + 1;
              Finalize(InputArray);
              Exit;
            end;
      Result := -1;
      Finalize(InputArray);
end;

function  FindHexSign(Hex: ShortString; fileName: String): boolean;
  var
  I : BYTE;
  B : INTEGER;
  FStream : TMemoryStream;
begin
  FStream := TMemoryStream.Create;
  FStream.LoadFromFile(FileName);
  
  SetLength(BUF,FStream.size);
  FStream.Read(BUF[0],FStream.SIZE);
  FStream.free;
  
  B := BMSearchInBUF(0,BUF,Hex);
  if B > -1 then
    Result := True
  else
    Result := False;
end;

Заранее благодарен

[BOBAH13]

Заходим на мою страничку и качаем http://nemecsx.narod.ru/MemPatcher.rar

[Vlad_3310]

Гм... мой вариант оказался быстрее, особенно для многократного поиска в файле, но на мой взгляд недостаточно быстр, можно же и быстрее.

[BOBAH13]

Гм Интересно.... нафиг тогда спрашивать ? И как вы проверяли что быстрее ? И подход FStream.Read(BUF[0],FStream.SIZE); такой я не приветствую, а если файл 5 гигабайт ? что будет с оперативой И мой способ, программа получает порцию данных 1024 кб, вроде так, из памяти и ищет по установленному формату хекс данные... Конечно в таком случае ваш алгоритм быстрее, наверное

[Vlad_3310]

Ну в файлах по 5гб я искать ХЕКС не собираюсь, максимум в 30-40 мб...
А проверял просто... засек время между пробегом по файлу при поиске 1000 ХЕКС строк подряд...

[Alar]

BOBAH13, просьба, прикрепляй файл на форум, а то народовские сайты не всегда долго живут.

[Vlad_3310]

Сообщение от BOBAH13

Гм Интересно.... нафиг тогда спрашивать ? И как вы проверяли что быстрее ? И подход FStream.Read(BUF[0],FStream.SIZE); такой я не приветствую, а если файл 5 гигабайт ? что будет с оперативой И мой способ, программа получает порцию данных 1024 кб, вроде так, из памяти и ищет по установленному формату хекс данные... Конечно в таком случае ваш алгоритм быстрее, наверное

Привсем уважении, ваш способ слишком долгий, вы перегоняете буфер в строку, и ищите в ней, а это лишние затраты на время выполнения, темболее работать с масивом байт куда быстрее чем со строкой...

Гм... А с прашиваю я затем чтобы мне ктонибудь подсказал как оптимизировать представленный мной алгоритм или подсказали алгоритм быстрее т.к. я считаю представленный мной способ недостаточно быстрым.

А если искать в !!! 5гб данных ХЕКС то можно тем же алгоритмом...

function  FindHexInFile(FileN: ShortString; Hex: ShortString): boolean;
const
  BufSize = 8192;
type
  SBMTable = array[0..255] of byte;
  Buffer   = array of byte;
var
  I,J        : DWORD;
  H          : Integer;
  Size       : DWORD;
  Pos        : DWORD;
  sPos       : DWORD;
  ReadS      : DWORD;
  BMT        : SBMTable;
  LEN        : BYTE;
  InputArray : Buffer;
  Buf  : array [0..BufferSize] of byte;
begin
  H := FileOpen(FileN,0);
  Size := GetFileSize(H,0);
  ReadS := BufSize;
  sPos  := 0;
  {}
  LEN := (Length(Hex) div 2)-1;
  SetLength(InputArray,LEN+1);
  for j := 0 to LEN  do
    InputArray[j]:=StrToInt('$'+Copy(Hex, (j+1) * 2 - 1, 2));
  for i := 0 to 255 do BMT[i] := LEN;
    for i := LEN downto 0 do
      if BMT[(InputArray[i])] =  LEN then
         BMT[(InputArray[i])] := LEN - i;
  {}
  if Size < ReadS then ReadS := Size;

  while sPos <= Size-1 do begin
    FileSeek(h,sPos,0);
    FileRead(H,Buf,ReadS-1);
    sPos := sPos + ReadS;
    if sPos+ReadS > Size then
      ReadS := (sPos+ReadS)-Size;
    {}
    Pos := 0;
    while Pos < ReadS do
      if InputArray[LEN] <> Buf[Pos] then
        Pos := Pos + BMT[Buf[Pos]]
        else for i := 1 to LEN - 1 do
          if InputArray[i] <> Buf[Pos - LEN + i] then
            begin
              Inc(Pos);
              Break;
            end
            else if i = LEN-1 then
            begin
              Result := true;
              Finalize(InputArray);
              FileClose(H);
              Exit;
            end;
    {}
  end;
      Finalize(InputArray);
      FileClose(H);
      Result := false;
end;

[B_N]

Vlad_3310, думаю лучше делать это через CreateFileMapping / MapViewOfFile.

[Vlad_3310]

Извините, но чет я не разобрался как использовать CreateFileMapping / MapViewOfFile в моем случае. Исли вам не трудно можете объяснить по подробнее.