Мои фантазии на тему кодировок

[Serge_Bliznykov]

Сообщение от RAFA91

Зашибись сжатие
из двух байт получили три

При чём здесь "сжатие"?! Вас кто-то нагло обманул, к сжатию это отношения никакого не имеет!


Для понимания ситуации с кодировками всем программистам очень рекомендую ознакомиться со переводом статьи Джоела Спольски "Абсолютный Минимум, который Каждый Разработчик Программного Обеспечения Обязательно Должен Знать о Unicode и Наборах Символов"

цитата из статьи GunSmoker'а "90% кода в интернете - говно"

7. Кодировки. Самый важный факт для любого программиста (без исключений): не бывает такой вещи как "просто текст". Очень часто можно видеть код, который не учитывает кодировку текстовых данных. Предположение, что размер символа - 1 байт, - ещё один пример. В 2010-м году вы не можете просто зарыть голову в песок и сделать вид, что ничего этого не существует. Возвращайтесь, пожалуйста, в свои 80-е, но не пишите больше ни строчки кода, спасибо.

[Alex11223]

Да уже 3 раза эту ссылку давали

А "сжатие" это про то, что для ASCII (англ текст и прочие обычные символы) так и останется один байт в UTF-8 вместо двух, или тем более 4-6 всегда (макс количество байтов, которое символ может занять в UTF-8, UTF-16).

[Serge_Bliznykov]

Да уже 3 раза эту ссылку давали

в этой теме не видел. Возможно, проглядел. Ну, тогда, в оправдание скажу: повторение - мать учения.

[Пепел Феникса]

При чём здесь "сжатие"?! Вас кто-то нагло обманул, к сжатию это отношения никакого не имеет!

да, неверно я выразился, кодирование это, а не сжатие.
да и оно от 4 байт идет, а не от 2 как думает ТС.

Зашибись сжатие

из двух байт получили три

а часто у вас текст состоит из одних таких символов на которых UTF-8 дает результат хуже чем UTF-8?
я вам уже давал размеры одной и той-же XML в UTF-8 и UTF-16.
оно идет меньше для текста, но не для одного символа.

[RAFA91]

Сообщение от Serge_Bliznykov

П
цитата из статьи GunSmoker'а "90% кода в интернете - говно"

все равно не понятна технология UTF-8 — Википедия

Диапазон символов Количество байт
00000000-0000007F 1
00000080-000007FF 2
00000800-0000FFFF 3
00010000-001FFFFF 4
00200000-03FFFFFF 5
04000000-7FFFFFFF 6


что это еще за хрень 04000000-7FFFFFFF ?

разве таблица юникод не до FFFF

[Пепел Феникса]

Сообщение от RAFA91

все равно не понятна технология UTF-8 — Википедия

Диапазон символов Количество байт
00000000-0000007F 1
00000080-000007FF 2
00000800-0000FFFF 3
00010000-001FFFFF 4
00200000-03FFFFFF 5
04000000-7FFFFFFF 6


что это еще за хрень 04000000-7FFFFFFF ?

разве таблица юникод не до FFFF

нет, и никогда не была до FFFF.
она еще не заполнена до конца, но резерв заложен сразу.

[RAFA91]

Уже надоело выкладыват эту ссылку. http://unicode-table.com/ru/

если есть у кого-то что-то по новее то в студию пожалуйста.

wchar_t 2 байт . что тогда для 7FFFFFFF в студии ++

[Пепел Феникса]

во первых это левый сайт посвященный юникоду, на полноту он не может даже претендовать.
оффициальный сайт консорциума http://www.unicode.org/
во вторых.

wchar_t 2 байт . что тогда для 7FFFFFFF в студии ++

ну как бы два wchar_t, ибо это UTF16.

[RAFA91]

где тогда полноценная 4 - байтная таблица юникода ?

[Alex11223]

На том сайте тоже не только 2 байта, вы просто не доскролили