Как бот должен понимать что нужно нажимать кнопку во время qte?

[_penyok]

В свободное время люблю играть в eft, в последнем обновлении в игру добавили сложное qte(прикрепляю ссылку на гифку). Меня сразу же посетила мысль создать бота. Решил писать на питоне, с использованием open-cv, numpy и pyautogui. Я настроил компьютерное зрение на нужную область, но я не понимаю как написать алгоритм, который будет в нужный момент нажимать кнопку. Так как это мой первый опыт с open-cv, я пока что только умею работать с детектором цвета. И большая проблема в том, что цвета там одинаковые и каждый раз меняется скорость и размер шестиугольников. Если у вас есть мысли как можно это реализовать, то я с радостью выслушаю. Гифка с qte: https://dropmefiles.com/XODvd