Мои фантазии на тему кодировок

[RAFA91]

вы не путайте .

если в старших 3-х байтах одни нули так это не значит что на этом

можно что-то сэкономить.

[Alex11223]

Путаете тут только вы.

Что не значит? Вместо 3 байтов с нулями + 1 байт ASCII символ храним только 1 байт, все ок с экономией.

[RAFA91]

зачем вы употребляете тут ASCII если речь идет о юникоде ?

пока я не увидел смысл применения U-8 с точки зрения здравого смысла.

особенно тут.

00010000-001FFFFF 4
00200000-03FFFFFF 5
04000000-7FFFFFFF 6


было 4 байта стало 6. вы вообще в своем уме ?

[Пепел Феникса]

вы не путайте .

перечитайте сообщение по ссылке все-же.

сколько мусолим эту разработку, так никто и не доказал что она в чем-то
полезна.

вам уже дали достаточно информации.
мало кому интересно объяснять статистичность сжатия.

тут выигрыш в сжатии идет только по первым трем строкам.
все остальное анархия.

я вам уже задал вопрос, как часто у вас идет текст с редкими символами выше FFFF?
UTF специально составлена так что большая часть применяемых символов идет в начале.
UTF считали относительно текстов, а не одиночных символов.

хотите еще пример? абсолютно реальный.
https://habrahabr.ru/post/278745/
UTF-8: 303*648 байт.
UTF-16: 544*144 байта.
UTF-32: 1*088*288 байта.

надеюсь пример пояснений не требует.

[RAFA91]

UTF-8: 303*648 байт.

что это за фонарные числа ?

где доказательства ?

информации дали много - только ни одна ни показывает положительные стороны.


а символы у меня как раз в диапазоне 04000000-7FFFFFFF.

[Alex11223]

Откройте блокнот и сохраните какой-нибудь текст в UTF-8 и в UTF-16 (в блокноте называется просто Unicode), сравните размер.

[Пепел Феникса]

что это за фонарные числа ?

для вас откровение что страницы в интернете что-то весят?
это страница по ссылке. ее размер при сохранении в файл.

где доказательства ?

перечитайте тот пост
этого достаточно если уметь читать.

символы у меня как раз в диапазоне 04000000-7FFFFFFF.

хотелось бы увидеть данные текст. реальный, а не синтетический пример.
учитывая что Unicode символы до туда насколько я помню еще не дошли.

UTF-8 не дает 100% гарантии меньшего размера.
есть случаи, где он выдаст больше.
так же есть случаи где и UTF-16 выдаст больше, чем UTF-32. но ничего, все живут же.

PS: кстати говоря, свои заявлением про фонарные числа вы показали что пост вы не читали.
там вед написано все

[RAFA91]

Сообщение от Alex11223

сравните размер.

странно что тут никто не вспомнил про архиватор , раз пошла такая пьянка.

[Pavia]

Её моё сколько можно про сжатие?
Нету тут сжатия!
Разно размерное кодирование даёт выигрыш только на определенных тестах. На других текстах оно может давать отрицательный результат.
Наиболее часто встречающиеся символы делаем короткими наиболее редко длинными.
Это ещё Шенон описал.
Теорию можно прочитать в Лидовский В.В., Теориинформации, 2003.pdf
Вопрос какие символы наиболее часто встречаются?
https://ru.wikipedia.org/wiki/Языки_мира
Ответ Китайские иероглифы. Так что правильно 8 битными кодировать китайские тексты, а не английские.

[RAFA91]

китайские символы лежат в основном в младших 16 битах.

как эти символы можно подогнать до байта если по описанию


00000080-000007FF 2
00000800-0000FFFF 3

в этом диапазоне они и лежат