Перекодировать файл в UTF-8->ANSI, ANSI -> UFT-8

[Человек_Борща]

Доброго времени!

Собственно вопрос как распознать кодировку файла(ansi, utf-8)?
как перекодировать файл из ansi в UFT-8 и наоборот?

Чем отличается кодировка utf-8 от uft-8 без метки BOM?

[maxionans]

почитай http://stackoverflow.com/questions/4...-ansi-vs-utf-8
возможно, что-то окажется полезным

[Alar]

http://programmersforum.ru/showthread.php?p=78214

Узнать кодировку файла можно по первум двум или трём байтам. обычно там указана кодировка.

[Swarog]

для перекодирвки вроде есть функции AnsiToUtf8() Utf8ToAnsi()
различие между кодирвками с bom или без, отличается наличием этого бум, сигнатуры (вроде 3 байта) в начале файла, если не изменяет память $ef $bb $bf (это для utf8)

[Человек_Борща]

окей... в UTF8(вместе с BOM) стабильно первые 3 байта это:

function IsUTF8File(aFileName: string): Boolean;
var
  fS: TFileStream;
  Bytes: array[0..2] of Byte;
begin
  Fs := TFileStream.Create(aFileName, fmOpenReadWrite);
  try
    fS.Seek(0, soFromBeginning);
    fS.ReadBuffer(Bytes, 3);
    if (Bytes[0] = $EF) or (Bytes[0] = $BB) or (Bytes[0] = $BF) then
      Result := True
    else
      Result := False;
  finally
    FreeAndNil(fS);
  end;
end;

тепрь как определить что кодировка ANSI или UTF-8(NoBOM)

[Swarog]

только методом предположения, допустим имеем русский текст анализируем весь текст ищем расширенные символы (те что по два байта) если первый байт в диапазоне $40..$47 то это русская таблица, дальше анализируем если все символы текста попадают в эту русскую таблицу или латинскую таблицу (она занимает 1 байт $00..$7f) то делаем вывод что текст в юникоде, если же часто встречаются "чужие" таблицы или данные слишком часто перемеживаются то делаем вывод что данные записаны в ANSI кодировке, ну вот как то так

[GunSmoker]

тепрь как определить что кодировка ANSI или UTF-8(NoBOM)

Правильный ответ - убедиться, что ты всегда используешь UTF-8, либо что он всегда имеет BOM.

Ссылки для чтения:
http://msdn.microsoft.com/en-us/libr...72(VS.85).aspx
http://docwiki.embarcadero.com/RADSt...rsion_Routines
http://www.transl-gunsmoker.ru/2010/...xtunicode.html
http://www.transl-gunsmoker.ru/2010/...g-post_10.html
http://www.transl-gunsmoker.ru/2010/12/unicode_16.html

[Swarog]

еще поправочка

function IsUTF8File(aFileName: string): Boolean;
var
  fS: TFileStream;
  Bytes: array[0..2] of Byte;
begin
  Fs := TFileStream.Create(aFileName, fmOpenReadWrite);
  try
    fS.Seek(0, soFromBeginning);
    fS.ReadBuffer(Bytes, 3);
    if (Bytes[0] = $EF) and (Bytes[1] = $BB) and (Bytes[2] = $BF) then
      Result := True
    else
      Result := False;
  finally
    FreeAndNil(fS);
  end;
end;