Мои фантазии на тему кодировок

[RAFA91]

вот малость поседел.

внятно надо давать ответы на вопросы.

начерта этот UTF8 раз он жрет байтов в разы больше

какая уж тут производительность ?

это преобразование надо делать самому чоль ?

[Пепел Феникса]

начерта этот UTF8 раз он жрет байтов в разы больше

и наглядный пример.
имеем следующую xml
размер в UTF8 => 4*548 байт
размер в UTF16 => 9*096 байт

странные 2 раза
это теоретический максимум, а не норма.
для UTF16 такая же таблица есть.

[Alex11223]

Больше чем что?

Не надо самому (если вы не пишите свою библиотеку для работы с юникодом, ОС и т.п.).

Для работы с юникод строками обычно библиотеки типа ICU используют.
Qt например умеет с юникодом работать примерно так же (по удобству) как во всяких сишарпах и джавах.

[Pavia]

ничего что U в UTF8 значит Unicode?
Microsoft тут скорее повлияли сильно на стандарт UTF, его по большей части брали чтоб не ломать все.

Это маркетинг. Цель маркетологов запутать покупателей.
Майкрософт начала разработку UNICODE. После IBM и ORACLE с похватились и решили делать свой UNICODE.
Майкрософт пришлось отдать товарную марку "Unicode" в одноименный комитет.
И пере именоваться в UCS-16.
Если вы историю не знаете это ваши проблемы. В доказательства могу привести блокнот при открытии вы можете выбрать кодировку Unicode.

ну да, побайтно, и при по-байтном разборе мы получим родной порядок байт, а не как прислали.
так что аргумент не ясен, маркетинга тут нет.

В Америке существует 2 огромных лагеря.
1) Oracle- Apple–IBM–Motorola
2) Micosoft-Intel
Так вот первый лагерь славится big-endian второй little-endian. Все данные есть в Wiki можете проверь.

Так вот в Oracle придумали хорошую фразу:

плюс UTF8 не зависит от порядка байт целевой машины.

Они хотели что-бы комитет принял их стандарт юникода!
Фраза звучит так что их кодировка UTF8 не требует преобразования, в отличие от Unicode-Micosoft.
Apple–IBM–Motorola не нравилось то что Microsoft при описании Unicod выбрала little-endian. Их процессорам требовалось вызывать преобразование. В отличии от нативного Intel.

Ответным стал ответ от Micosoft. Они сказали что ни останутся с Intel'ом. Микрософт придумала фразу

UTF8 предназначен для хранения и передачи.

Намекая на то что внутренний формат должен остаться ихним Unicod варианте big-endian для одних и little-endian для других.

На этом комитет Unicode и по решил. Я сам разрабатывал документы что-бы угодить 10 фирмам. И там приходится врать всем, уговаривать всех что-бы согласовать стандарты.

UTF8 не применяют для работы в основном. а для хранения и передачи.

Применяют и ещё как UTF-8 является встроенной кодировкой для QT и Java. Не верите можете сами проверить.
Именно в этой кодировке идёт обработка строк внутри программ. И именно в таком виде строки хранятся в памяти.
Я уже сказал что это быстрее.

а вот тут не уверен.
если для UTF16 мы может просто предположить что два байта и точна.
то для каждого байта UTF8 нужно декодировать, по одному. от этого проседания тоже есть.

вы бы хоть разобрались прежде чем писать все это, а уж тем более заявляя про маркетинг и тп.

Я прекрасно знаю внутренее устройство регулярных выражений. И варианты исполнения и варианты использования. Но если человек не хочет услышать, то он и не услышит.

[Пепел Феникса]

либо прикладывайте пруфы на ваш маркетинг, либо хватит мусорить.

[Pavia]

это преобразование надо делать самому чоль ?

Ответ. Их вообще не нужно делать.
Нужны ли эти преобразования для сравнения строк (оператор "==")?
Нужны ли эти преобразования для слияния строк (оператор "+")?
Нужны ли эти преобразования для присвоения строк (оператор "=")?
Нужны ли эти преобразования для поиска подстроки (функция find)?
Нет не нужна!
Нужны ли эти преобразования для UppCase?
Нужны ли преобразования в парсеках файлов XML , CFG, INI, hml?
Ответ нет нужно! Шок. Обработка идёт аналогично строкам ANSI.
Где UppCase работает только с латиницей. Ибо Unicod делали Американци для себя. И все эти стандарты делали для себя!
А там где реально нужны преобразования очень редки.

[Alex11223]

Применяют и ещё как UTF-8 является встроенной кодировкой для QT и Java. Не верите можете сами проверить.
Именно в этой кодировке идёт обработка строк внутри программ. И именно в таком виде строки хранятся в памяти.

Да ну?

https://wiki.qt.io/QString
"Internally, QString stores the string using the UTF-16 encoding."
http://docs.oracle.com/javase/7/docs...ng/String.html
"A String represents a string in the UTF-16 format"

А там где реально нужны преобразования очень редки.

Например получение количества символов, отдельных символов/подстрок, вставка не в конец/начало строки это редкие случаи?

[RAFA91]

UTF8 как я понял для преобразования использует эту таблицу

http://unicode-table.com/ru/

кстати это майкрософта таблица?


_________________________

смотрим описание

UTF-8 (от англ. Unicode Transformation Format, 8-bit — «формат преобразования Юникода, 8-битный») — одна из общепринятых и стандартизированных кодировок текста, которая позволяет хранить символы Юникода, используя переменное количество байт (от 1 до 6).

_______________________________

и где тут восьмибитный результат ?

кто делает это преобразование и зачем ?

[Alex11223]

Так сказали ж уже 100500 раз, что это скорее кратность (UTF-8 — 8, 16, 24, 32 бит, UTF-16 — 16, 32 бит), а не размер результата. (насчет 5-6 байтов вроде пока нигде не используется)

Про разницу между таблицей и кодировками читайте предыдущие страницы и статью по ссылке.
Павию не читайте.

[Пепел Феникса]

возьму вашу же цитату и прочитаю ее полностью:

UTF-8 (от англ. Unicode Transformation Format, 8-bit — «формат преобразования Юникода, 8-битный») — одна из общепринятых и стандартизированных кодировок текста, которая позволяет хранить символы Юникода, используя переменное количество байт (от 1 до 6).

никто не говорил что UTF-8 занимает 8бит кроме вас.