MASM, определить хендл другого приложения

[ассемблер123]

подскажите пожалусто как можно определить хендл другого приложения зная название exe файла или хендл его окна

[Ivan_32]

Получить хендл другого процесса можно двумя способами, вы их оба назвали.

Имея хендл окна можно получить ProcessID функцией GetWindowThreadProcessID.

Что касается поиска процесса только по имени, это делается с помощью ToolHelp API. Например вот так:

proc FindProcess
    pushad
    invoke CreateToolhelp32Snapshot,TH32CS_SNAPALL,0
    mov [hSnap],eax
    mov [prc.dwSize],296
    invoke Process32First,[hSnap],prc ;296
@@:
    invoke Process32Next,[hSnap],prc
    push eax
    xor eax,eax
    cinvoke strcmp,processName,prc.szExeFile
    test eax,eax
    jnz @nequal
      mov eax,[prc.th32ProcessID]
      mov [ProcessID],eax
      jmp @exit
@nequal:
    pop eax
    test eax,eax
    jnz @b
@exit:
    popad
    ret
.localData:
    hSnap dd 0
    prc PROCESSENTRY32
    processName db "calc.exe",0
endp

Это код для FASM-а с Writeable секцией кода.

В обоих случаях получите ProcessID, с помощью которого можно открытть процесс функцией OpenProcess