Как проверить файл на юникодность

[Utkin]

1 - нормальный UTF-8
2 и 3 - 100% абракадабра не дешифруемая

ОК, спасибо за информацию, буду искать ошибки....

[mv28jam]

Файл без BOM, но это неважно, тк
<konstr><descr> в cp1251
<konstr><word8>, <function><descr> непонятно в чём - бессмыслица, знаки вопроса (3f) оными и являются и в ASCII и в utf-8, 3f в cp-1251 буква у, конструкция же 3f 3f не подпадает под стандарт UTF-8.
В целом - копайте в сторону настройки кодировок в коде.

[Utkin]

Новый вариант. С виду чистый юникод, Нотепад++ определил как utf8 без BOM, однако все равно показывает мне каракули. Я там добавил русских буков, чтобы быть уверенным что перегенерация проходит как положено.

[Utkin]

Че-то не прикрепился. Syntext Serna Free (редактор xml) тоже показывает мне каракульки. Сама программа показывает норм и русский и латинский.

100% абракадабра не дешифруемая

Значит я изобрел новый алгоритм шифрования

[ds.Dante]

Последний файл изначально был в UTF-8, его кто-то прочитал как 1251 и снова сохранил как UTF-8. Декодер Лебедева расшифровывает на раз (хоть и с глюком в одной букве). То же относится и к предыдущему файлу, но там много вопросительных знаков, это безвозвратная потеря информации.

[Utkin]

Последний файл изначально был в UTF-8, его кто-то прочитал как 1251 и снова сохранил как UTF-8. Декодер Лебедева расшифровывает на раз (хоть и с глюком в одной букве). То же относится и к предыдущему файлу, но там много вопросительных знаков, это безвозвратная потеря информации.

Спасибо буду копать дальше.

[Utkin]

Еще одна версия, не знаю последняя или нет, но как мне кажется нашел не нужное дополнительное кодирование в юникод...
Самое главное, убрал в сохранении, в чтении не менял ничего. Все равно русские в программе отображаются корректно, но теперь русские отображаются везде и тоталкомандере и Нотепаде++ и в редакторе xml.
Приговор Лебедева:

HTML-Entities → UTF-8

[mv28jam]

Теперь норм.

[ds.Dante]

Добавить BOM - будет совсем норм.

[ROD]

Сообщение от Человек_Борща

Не не, не мешайте людейслошадями. Файл или весь в UTF8 или весь в ANSI.

Ага... щаз.... я пару раз сталкивался с тем, что во всяких странных IDE под винду файлы сохраняются в какой-то не понятной кодировке (иногда в смеси кодировок) - русские символы не получается читать ни как cp1251, ни как utf-8, ни как какой-нибудь unicode-16. Иногда даже бывает, что часть комментариев в utf-8, а часть хрен знает в какой кодировке.