Автораспознавание кодировки

[Foxpronet]

Здравствуйте. Хотелось бы в своей программе реализовать поддержку для АВТОопределения различных возможных текстовых кодировок, например так, как это происходит в небезызвестном текст. блокноте AkelPad, ну или Word.. Собственно, саму поддержку конвертирования при открытии и сохранении в оба направления уже сделал.. Но выбирать при открытии файла , каждый раз вручную, из множества системых кодировок нужную (ту, которой закодирован файл), как-то утомительно.
Можно ли как-то автоматизировать сей процесс, скажем, подключением какой-либо сторонней библиотеки для этих целей, если такая есть. Наподобии iconv.dll, но специализирущейся именно на автораспознавании? Сам функционал iconv.dll уже сделал программно. Или же все придется ручками писать..

[Человек_Борща]

анализируете первых 5-10 символов текста на принадлежность. Побеждает большинство.

[StriderX]

Сообщение от Foxpronet

Можно ли как-то автоматизировать сей процесс

В общем случае невозможно, только эмпирики ( http://blogs.msdn.com/b/oldnewthing/...7/2158334.aspx ).
Всякие приведения к UTF-8 могут доложить вам о том, что конверсия провалилась или обнаружены некорректные последовательности (там по стандарту что-то типа EF-BF-BD лепится штоле).

[Foxpronet]

Сообщение от Человек_Борща

анализируете первых 5-10 символов текста на принадлежность. Побеждает большинство.

Если не ошибаюсь, при таком подходе высока вероятность лжекодировки. Или вы о другом, можно подробней?
Вообще хотелось бы, конечно, некий dll аналог или готовый универсальный / несовсем модуль, если существует (наверняка есть, вопрос ведь достаточно актуальный, но найти так и не смог пока). Времени просто не так много...
Ну коли нет готового.. Что ж, будем писать.

[Vapaamies]

Самое простое -- попытка раскодировать текст как UTF-8, а если не получилось, считать его некой legacy-кодировкой, значение которой берется из настроек или системного окружения. В юникодных версиях Delphi это значение хранится в системной переменной DefaultUnicodeCodePage.

[min@y™]

а какие кодировки нужны?
я писал вручную вероятностный код распознавания, но кодировок было всего 4.

[Человек_Борща]

Если не ошибаюсь, при таком подходе высока вероятность лжекодировки. Или вы о другом, можно подробней?

Файл не может быть частично кодирован. Иначе это не текстовый файл. Так что лже-кодировка это отсутствующий случайный вариант.

[Foxpronet]

Сообщение от Человек_Борща

Файл не может быть частично кодирован. Иначе это не текстовый файл. Так что лже-кодировка это отсутствующий случайный вариант.

Да, но ведь встречаются кодировки где не указан флаг принадлежности в отличие от UTF кодировки в самом начале файла. Как можно идентифицировать такой образец по первым 5-10 байтам?

[Foxpronet]

Сообщение от min@y™

а какие кодировки нужны?
я писал вручную вероятностный код распознавания, но кодировок было всего 4.

В идеале все и вне зависимости от локали. Или хотя бы те, что вскрываются каким-либо минимальным алгоритмом и результат их работы приближенно достоверен. Но понимаю, что это утопия, поэтому буду рад и качественной связке ansi, iso, win и т.д. Просто я предусмотрел memo поле в стандартом диалоге открытия, поэтому желатен вариант распознавания не привязанный к обьему текста, т.е не статистический, иначе диалог здорово притормаживает. Попробал некоторые из них (DRKB), не очень хорошо справляются.

[Человек_Борща]

Да, но ведь встречаются кодировки где не указан флаг принадлежности в отличие от UTF кодировки в самом начале файла. Как можно идентифицировать такой образец по первым 5-10 байтам?

По извесным символьным таблицам. А вообще в Delphi c 2009 версии есть класс TEncoding, он определит кодировку текста...