Ошибка с переменной или с преобразованием? Внутри.

[GunSmoker]

Насколько я помню, в VCL есть такой баг - она в некоторых случаях при работе с GDI выбрасывает EOutOfMemory вне зависимости от реальной ошибки (точные детали можно глянуть в QC).

Судя по тому, что вылетаем на строчке обращения к пикселям - я бы проверил, равны ли по размерам изображения и вставил бы отладочный Assert:

Assert(X >= 0);
Assert(Y >= 0);
Assert(X < Image3.Canvas.Width);
Assert(Y < Image3.Canvas.Height);
dcol:= ColorToRGB(Image3.Canvas.Pixels[x,y]);

Плюс проверка на максимальный размер изображений. См. также:

Indicates whether the bitmap is a device-dependent bitmap, or a device-independent bitmap.

HandleType is used to find or modify the type of the bitmap. Device-dependent bitmaps (DDBs) may be faster to draw on the screen, but may be stored in memory in a device-specific format. Device-independent bitmaps (DIBs) are stored in memory in a standard format supported by all devices (including printers).

Если вдруг DDB будет хранится в видео-памяти - её может быть существенно меньше, чем системной памяти.