Голосовой ввод, управление элементами на вкладке Chrome

[Engir]

Добрый день!

Есть корпоративный программный продукт, пользовательский интерфейс целиком через формы, которые открываются во вкладках Google Chrome (кнопки, поля для заполнения, галочки).
Я хочу сделать свою прогу с функционалом: я надиктовываю определенные слова и по зашитой мной логике она нажимает нужные кнопки и заполняет поля.
Я вижу здесь две отдельные задачи:
1. Голосовой ввод, на основании распознанных слов выстраивается последовательность действий из жесткой логики (ибо для машинного обучения нет выборки, слишком много вариантов), т.е. произнесено слово "А1" или его синонимы "А2"/"А3" производится дествие "А".
2. Управление элементами на странице в браузере по сформированной последовательности дейтсвий (пункт 1)

Делаю для себя, поэтому красота не требуется, "продавать" начальству тоже не надо.
Пробовал управлять элементами на странице браузера по их ID (из кода страницы), но вообще не получилось.
Пните, пожалуйста, в направлении, которое считаете правильным. Куда копать, с помощью чего делать?

[ViktorR]

Не очень понятно, но, например,
- Tab - переносит фокус между элементами окна;
- Enter - завершение ввода.
Т.е., командой Tab выбираем поле. Далее произносим фразу - строка для ввода в поле. Enter - завершаем работу с полем и перенос фокуса на следующее.
Если чекбокс или радиобутон, то команда Chek переключает состояние, а Enter завершает ввод и фокус передаётся на следующий элемент..

Это просто последовательный перебор элементов окна.

[Engir]

Я хочу разделить две части:
- в первой надиктовать сколько надо и интерпретировать это (итогом будет упорядоченный список, готовый для набора на сайте),
- во второй запустить процесс, который будет тыкать нужные кнопки и заполнять поля

Пожалуй попробую привести аналогию с магазином:
Надиктовать: Голден пять штук дальше липтон маленький один дальше буратино полторашка
Интерпритировать:
-Яблоки Голден 5 шт
-Чай Липтон 25 пакетиков - 1 упаковка
-Газировка Буратино 1,5 литра - 1 бутылка
Только в моем случае строчка выше - это набор опций, а в случае с магазином, каждая строчка - это готовый товар

Дальше я нажимаю кнопку и прога по ID элементов переходит на разные страницы, заполняет поля (по моему алгоритму для каждой опции), а я в это время пью этот самый липтон

Например, у этой страницы через Css Selector я скопировал данные кнопки поиска "Вперед"
td[id='header_right_cell'] > div > table > tbody > tr > td > form

Вот по этим данным к этой кнопке обратиться, чтобы нажать. Могу ошибаться, но вроде это кликером можно обозвать.
Самое главное, я без понятия на чем это реализовать