Pascal. нужно написать программу,которая подсчитывает величину информационной энтропии

[Ирка555]

по формуле Шеннона. вот про нее. http://ru.wikipedia.org/wiki/%D0%98%...BF%D0%B8%D1%8F
т.е. если текст представляет из себя полную бессмыслицу, вроде - СУХЕРРОБЬДЩ ЯЫХВЩИ-ЮАЙЖТЛФВНЗАГФО-ЕНВШТЦР, то величина ее энтропии должна быть максимальной, если текст более упорядочен - ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО (но смысла не несет) , то энтропия будет меньше и наконец в нормальном тексте она будет минимальна. реально ли написать такую программу вообще?

[s-andriano]

Точно вычислить - вопрос сложный, а оценить - это делает любой архиватор.

[Son Of Pain]

А как ты отличаешь "более упорядоченный" текст от "нормального", если с точки зрения распределения символов алфавита они выглядят одинаково, а значит и энтропия отличаться не будет? )

[s-andriano]

Сообщение от Son Of Pain

А как ты отличаешь "более упорядоченный" текст от "нормального", если с точки зрения распределения символов алфавита они выглядят одинаково, а значит и энтропия отличаться не будет? )

Будет.
Кроме символов есть еще их пары, тройки, четверки и т.д. И они также вносят немалый вклад в энтропию.
Как-то, помнится, попытался написать "генератор псевдотекста", для чего проанализировал несколько десятков Мбайт текста на естественном языке (русском) и подсчитал вероятность символов, пар и троек. Затем составил программу, которая при генерации выхода придерживалась найденных соотношений.
Но полученный таким образом "текст" примерно вдвое хуже сжимался архиватором, что говорит о том, что энтропии в нем было существенно больше, чем в аналогичном объеме обычного текста. А если бы учитывалось только распределение одиночных символов, разница была бы еще больше.