delphi THE MNIST DATABASE

[Аватар]

По быстрому примерчик для чтения одной картинки. Если массово загружать, то лучше конечно не по одному байту читать да и ScanLine вместо Canvas.Pixels

procedure TForm1.Button1Click(Sender: TObject);
var xStream: TFileStream;
    i,j,k: Integer;
    xBitmap: TBitmap;
    xBuffer: Byte;
begin
  Image1.Transparent:=True;

  xBitmap:=TBitmap.Create;
  xBitmap.PixelFormat:=pf8bit;
  xBitmap.Height:=28;
  xBitmap.Width:=28;
  xStream:=TFileStream.Create('e:\Mnist\train-images.idx3-ubyte',fmOpenRead or fmShareDenyWrite);
  k:=1134; //порядковый номер картинки 1<=k<=60000
  xStream.Position:=16+(k-1)*784;
  for i:=0 to 27 do begin
    for j:=0 to 27 do begin
      xStream.ReadBuffer(xBuffer,1);
      xBitmap.Canvas.Pixels[j,i]:=xBuffer;
    end;
  end;
  Image1.Picture.Bitmap.Assign(xBitmap);
  xBitmap.Free;
  xStream.Free;
end;

Кстати если будешь в массив загружать, то в файле для Integer порядок байтов от старшего к младшему

[Михаил22042016]

Сообщение от Alex11223

Нужно читать побайтно (например чем-нибудь типа TFileStream) и преобразовывать в нужный вам формат.
Прочитать кол-во картинок (блок 4 байта), дальше для каждой читать кол-во строк и столбцов (2 блока по 4 байта) и читать это количество однобайтовых пикселей.

спасибо.
Через годик другой мб разберусь

[Михаил22042016]

Сообщение от Аватар

xStream.Position:=16+(k-1)*784;
for i:=0 to 27 do begin
for j:=0 to 27 do begin
xStream.ReadBuffer(xBuffer,1);

тут пара вопросов

если я правильно понимаю то xStream.ReadBuffer(xBuffer,1); = xStream.ReadBuffer(xBuffer,SizeOf(B yte));

а вот тут
xStream.Position:= 16+(k-1)*784 ;
16+(k-1)*(28*28)эта цифра - 16 откуда она

[Аватар]

SizeOf(Byte) = 1

16 откуда она

из описания структуры - в начале файла заголовок 16 байт (4 * 4), а затем 60000 блоков по 784 байта. В том заголовке и количество картинок (60000) и их размеры (28*28). По хорошему это из заголовка нужно взять, а не подставлять константы как в примере. Но пример на то и пример, что бы ТС было над чем подумать ))

[Михаил22042016]

да, мне тут есть над чем подумать, пойду гуглить.
это чтение файла по структуре искать?

[Михаил22042016]

Сообщение от Аватар

Если массово загружать, то лучше конечно не по одному байту

это значит блоками? а если блоками то это не TFileStream, а : File;
BlockRead???

[Аватар]

Блок он и есть блок - кусок файла. 1 байт тоже блок. Для этого файла лучше всего сразу считывать всю картинку целиком в массив - блоком в 784 байта тем же методом ReadBuffer. Быстрей точно будет если все картинки обрабатывать. Можно и большим блоком, но обработка в памяти этих картинок чуть усложнится

[Михаил22042016]

procedure TForm1.btn15Click(Sender: TObject); 
var xStream: TFileStream;
    i,j,k: Integer;
    xBitmap: TBitmap;
     Buffer: TBytes;
     Size: Integer;  
begin
//  img1.Transparent:=True;
//  img1.Stretch:=True;
  xBitmap:=TBitmap.Create;
  xBitmap.PixelFormat:=pf8bit;
  xBitmap.Height:=28;
  xBitmap.Width:=28;
  xStream:=TFileStream.Create(GetCurrentDir+'\Memo\train-images.idx3-ubyte',fmOpenRead or fmShareDenyWrite);
  k:=StrToInt(edt2.Text); //порядковый номер картинки 1<=k<=60000
  xStream.Position:=16+(k+1)*784;// (k+1) тут +1 т.к. в едит 0
    Size := xStream.Size - xStream.Position;
    SetLength(Buffer, Size);
    xStream.ReadBuffer(Pointer(Buffer)^, Size); 
  for i:=0 to 27 do begin
    for j:=0 to 27 do begin 
      xBitmap.Canvas.Pixels[j,i]:= RGB(Abs(Buffer[(xBitmap.Width*i)+j]-255),Abs(Buffer[(xBitmap.Width*i)+j]-255),Abs(Buffer[(xBitmap.Width*i)+j]-255))  ; 
    end;
  end;
  end;

  img1.Picture.Bitmap.Assign(xBitmap);
  xBitmap.Free;
  xStream.Free;
end;

я на правильном пути?

[Михаил22042016]

procedure TForm1.btn15Click(Sender: TObject);
type
    PixelRGB = packed record b,g,r: byte; end;
    tXarray = array[0..0] of PixelRGB;
    Xarray = ^tXarray;
    YXarray = array of Xarray;
var xStream: TFileStream;
    i,j,k,p,z: Integer;
    xBitmap: TBitmap;
    Buffer: TBytes;
    Size: Integer;
    Scan:YXarray;
begin
//  img1.Transparent:=True;
  img1.Stretch:=True;
  xBitmap:=TBitmap.Create;
  xBitmap.PixelFormat:=pf24bit;
  xBitmap.Height:=28;
  xBitmap.Width:=28;
  SetLength(Scan,xBitmap.Height);
  xStream:=TFileStream.Create(GetCurrentDir+'\Memo\train-images.idx3-ubyte',fmOpenRead or fmShareDenyWrite);
  k:=StrToInt(edt2.Text); //порядковый номер картинки 1<=k<=60000
//  xStream.Position:=16+(k+1)*784;
  for p:=1 to 50000 do begin
    xStream.Position:=16+(p)*784;
    Size := xStream.Size - xStream.Position;
    SetLength(Buffer, Size);
    xStream.ReadBuffer(Pointer(Buffer)^, Size);
    for i:=0 to 27 do begin
      Scan[i]:=xBitmap.ScanLine[i];
      for j:=0 to 27 do begin
        Scan[i][j].r:=Abs(Buffer[(xBitmap.Width*i)+j]-255); // инверсия цвета, чтобы белый был фоном
        Scan[i][j].g:=Scan[i][j].r;
        Scan[i][j].b:=Scan[i][j].r;
      end;
    end;
    Application.ProcessMessages;
    img1.Picture.Bitmap.Assign(xBitmap);
    Sleep(1 );

  end;

  xBitmap.Free;
  xStream.Free;
end;

а это со сканлайном