Как проверить файл на юникодность

[Utkin]

В общем собираю текстовый файл в Лазарусе. По идее все должно сохраняться в UTF8. Как это проверить? Русские буковы в Блокноте отражаются крякозабрами (в самой программе показываются нормально), как мне удостовериться что выходной файл не смесь кодировок, а именно utf8?

[Аватар]

Сигнатуру BOM засунуть в начало подойдет?

[_PROGRAMM_]

Что если в gedit удалить последний символ и проверить на сколько байт уменьшился файл. Половину сомнений отбросит.
Или так

date |file -i ./file.txt

[Utkin]

Сигнатуру BOM засунуть в начало подойдет?

Это все должно делаться автоматически. Но я боюсь, что английские имена там в юникоде, а русские фиг знает в чем. Я вставляю строки в StringList, по идее строки юникодовы и при вставке провожу преобразование в юникод из системной кодировки и сам список строк специально юникодовый (есть такая версия в лазарусе). Но все равно сомнения гложут.

Что если в gedit

Я в винде, качать отдельно для винды? Мне кажется есть способ проще.

date |file -i ./file.txt

Для какой операционки?

[ds.Dante]

https://en.wikipedia.org/wiki/Charset_detection

Наверняка есть готовые решения.

[mv28jam]

По идее все должно сохраняться в UTF8. Как это проверить? Русские буковы в Блокноте отражаются крякозабрами (в самой программе показываются нормально), как мне удостовериться что выходной файл не смесь кодировок, а именно utf8?

Блокнот как раз по BOM будет определять, соответственно всё правильно у вас собралось, но без BOM.

Это все должно делаться автоматически.

Не всегда. Есть вариант сохранения без BOM.

Но я боюсь, что английские имена там в юникоде, а русские фиг знает в чем.

Латиница в любом случае будет не в UTF-8 тк не попадает в диапазон.

[Utkin]

Наверняка есть готовые решения.

Это поиск по сигнатурам, то что Аватар писал. Она сигнатура может и совпадает, а вот внутри тела могут быть русские буквы в какой-нибудь Ansi 1251 (точнее я опасаюсь этого, возможно файл сам по себе корректен).

Блокнот как раз по BOM будет определять, соответственно всё правильно у вас собралось, но без BOM.

Как удостовериться? Я использую обычный метод SaveToFile без черной магии. Строки вставляю также стандартным Add (с предварительным преобразованием SysToUtf8).

[ds.Dante]

Не сигнатура, а частота появления символов и их сочетаний.

[Человек_Борща]

Это поиск по сигнатурам, то что Аватар писал. Она сигнатура может и совпадает, а вот внутри тела могут быть русские буквы в какой-нибудь Ansi 1251 (точнее я опасаюсь этого, возможно файл сам по себе корректен).

Не не, не мешайте людейслошадями. Файл или весь в UTF8 или весь в ANSI.

[Utkin]

Не не, не мешайте людейслошадями. Файл или весь в UTF8 или весь в ANSI.

Блин, в этом и есть проблема, как мне узнать смешал я людей с лошадями или нет?

Не сигнатура, а частота появления символов и их сочетаний.

Этот метод здесь не применим.