Звук, генерация, голос

[Mimoletom]

ищу способ как можно:
1) генерировать звук
1.1) генерировать звук конкретной частоты и громкости (через колонки), безшовный(чтобы не возникало шипения при переходе между частотами)
1.2) генерировать сложный звук состоящий из нескольких частот

2) считывать звук (в реалтайме, с микрофона)
2.1) основная частота
2.2) много частот

теоретический вопрос: если упростить голос человека до одной главной частоты, он будет остаться голосом, т.е. можно ли будет его понять?

(под одной частотой я понимаю когда частота звука меняется не чаще, чем один раз за амплитуду текущей частоты)

я понимаю, что скорее всего стандартные средства не могут так точно управлять звуком, поэтому подойдут любые сторонние библиотеки, которые смогут это сделать (кто чем пользовался?)

естественно, желательно чтобы все это происходило через потоки или другим способом, но не через файлы.


Буду благодарен за любую помощь. сейчас оплезнее всего была бы ссылка на библиотеку и немного помощи о том, как её юзать.

Возможно уже есть подобный проект.

Конечная цель - скормить эти данные нейронной сети, и посмотреть, что получиться, и какие ресурсы нужны, чтобы сеть смогла издавать хотя бы какие-то осмысленные звуки

[raxp]

пункт 1 >>> пользуемся поиском
пункт 2 >>> пользуемся поиском

теоретический вопрос: если упростить голос человека до одной главной частоты, он будет остаться голосом, т.е. можно ли будет его понять?

(под одной частотой я понимаю когда частота звука меняется не чаще, чем один раз за амплитуду текущей частоты)

чушь написали... речь человека можно ужать динамически компандерными системами с АРУ и пропустить через полосовой фильтр, останется пару формант, т.е. несколько частот ...речь - это случайная последовательность, а значит множество гармоник ...про эффективный спектр речи слышали?

...другое дело, что речь в контексте языка имеет свою статистику и используя статистику языка делают системы сжатия аудио-потока, причем эти системы индивидуальны, системы сжатия для русских со статистикой русского не будут срабатывать для англичан ...но это все из теории кодирования.

Буду благодарен за любую помощь. сейчас оплезнее всего была бы ссылка на библиотеку

все-бы готовенькое

Конечная цель - скормить эти данные нейронной сети, и посмотреть, что получиться

складывается впечатление, что вы не знаете, что и для чего делаете, т.е. по принципу - намешал кода, авось родится.

чтобы сеть смогла издавать хотя бы какие-то осмысленные звуки

издавать ...это вам про синтез речи подробнее нужно акцентировать:
- В.Н. Сорокин. Теория речеобразования. – М., Радио и связь, 1985
- А.Л.Горелик, В.А.Скрипкин Методы распознавания М.: Высшая школа, 1989
- В.И.Галунов, В.И.Гарбарук. Акустическая теория речеобразования и система фонетических признаков. Материалы международного конгресса 100 лет экспериментальной фонетике в России. – С.Петербургский Государственный Университет, 2001, с.58

[Mimoletom]

Большое спасибо за развернутый ответ!
особенно на п1, п2 и книги. будет, что изучать ближайшее время

"складывается впечатление, что вы не знаете, что и для чего делаете"
в некотором смысле да, заказчика нет, и пишу для себя
но я бы не сказал, что совсем уж не знаю, что делаю ) некоторые успехи есть, просто ищу способ как можно применить нейронную сеть на практике (а не в играх). и на мой взгляд звук - самое простое и удобное. по крайней мере проще, чем видео.