Китайский в Delphi

[Yiguoliang]

Здравствуйте! Есть проблема, текстовый файл формата txt, в нём записан текст, часть которого на китайском, считываю его построчно пока не закончится в строковую переменную s, в этом же цикле, в зависимости от условий изменяю строку s и записываю в другой файл. Как сделать так, чтобы Delphi воспринимал китайский текст? Мало того, что при считывании в строковую переменную текст на китайском превращается в бред, так еще и в самом исходном файле, после того, как с него считала программа текст становится бредом.

[veniside]

формата txt

Нет такого формата. Текст, скорей всего, в UTF8. Вот и читайте его как UTF8.

в самом исходном файле, после того, как с него считала программа текст становится бредом

Ну вы поняли.

[Yiguoliang]

Сообщение от veniside

Текст, скорей всего, в UTF8. Вот и читайте его как UTF8.

Можно поподробнее? Как читать текст в UTF8?

[Tronix]

Сообщение от veniside

Нет такого формата. Текст, скорей всего, в UTF8. Вот и читайте его как UTF8.

Да нет, есть у китайцев своя какая-то кодировка, не имеющая отношения к UTF. Типа GB2312 и всякое такое. Вот например исходный текст может выглядеть так:

// ЙиЦГ¶Ф»°їтµДД¬ИПЕдЦГОДјюID
void SetMsgBoxID(RESID* msg_box_config_id)
{
    *msg_box_config_id = ID_DEF_MSG_BOX_BLACK;
}

// КЗ·сПФКѕЎ°ёсКЅ»ЇNAND FLASHЎ±µД¶Ф»°їтЈ¬·µ»ШTRUEФКРнПФКѕ
// µ±ПµНі·ўПЦДъµДNand FlashОДјюПµНі»№Г»УРЅЁБўµДК±єтЈ¬»бµчУГґЛєЇКэ
// НЁіЈЈ¬Ц»УРі§јТ№аЧ°іМРтєуЈ¬іМРтµЪТ»ґОФЛРРК±Ј¬ІЕ»біцПЦґЛМбКѕ
BOOL BootOpt_ShowFormatFlashDlg(void)
{
    return TRUE;
}

А вообще должен выглядеть так:

// 设置对话框的默认配置文件ID
void SetMsgBoxID(RESID* msg_box_config_id)
{
    *msg_box_config_id = ID_DEF_MSG_BOX_BLACK;
}

// 是否显示“格式化NAND FLASH”的对话框,返回TRUE允许显示
// 当系统发现您的Nand Flash文件系统还没有建立的时候,会调用此函数
// 通常,只有厂家灌装程序后,程序第一次运行时,才会出现此提示
BOOL BootOpt_ShowFormatFlashDlg(void)
{
    return TRUE;
}

[veniside]

Читать как поток байт, другое дело, как потом с этой строкой работать.
Можно перевести её в wide/unicodesting через Utf8ToUnicode() или через UTF8ToString(), если у вас Дельфи посвежее. И работать как с обычной юникодной строкой. Перед записью можно опять в UTF8 завернуть.

считываю его построчно

Тут тоже вопросы будут, как вы конец строки проверяете, как в s добавляете прочитанную строку.. Проще, имхо, как поток байт считать.

Опять же, точно надо узнать, что там внутри файла. Если начинается с $EF $BB $BF, то это UTF8. Если с $FF, $FE, то UTF16 (little endian) а если $FE, $FF, то UTF16 (big endian).

Это если руками. А если Дельфи 2009 или свежее, там стринглист вроде сам должен разобраться что к чему, но на 100% я не уверен.

[Serge_Bliznykov]

veniside, +1


тут у нас на форуме есть гуру Delphi - GunSmoker.
В частности, он является Большим докой в кодировках...

и вот, весьма рекомендую статью с его блога:
Работа с текстовыми файлами в любой кодировке из Delphi до 2009 (использоание TEncoding)

Как должно быть известно любому программисту, не существует такой вещи как "просто текстовый файл". Если вы не знаете, в какой кодировке хранится строка, вы не только не сможете её показать, но даже определить, где она заканчивается.
....

[veniside]

Сообщение от Tronix

Типа GB2312 и всякое такое

Ну если настолько с файлом не повезло, то после чтения можно эту ахинею перевести в UTF16 через WideCharToMultiByte(), задав CP936 или что-то подобное.

[GunSmoker]

Вы пример файла покажите сначала.

P.S.

и вот, весьма рекомендую статью с его блога:
Работа с текстовыми файлами в любой кодировке из Delphi до 2009 (использоание TEncoding)

Та статья говорит про использование ANSI-строк. Что неприменимо в данном случае. Тут надо определиться с кодировкой и загружать в WideString. Но ссылка про "не существует такой вещи как "просто текстовый файл"" - очень верная, да.

[Yiguoliang]

вот пример кода

program Project_Doc;

{$APPTYPE CONSOLE}

uses
  StringListUnicodeSupport;
  var
    f, f1: textfile;
    s, s1, s2: widestring;
begin
  assign(f, '1.txt');
  assign(f1, '2.txt');
  reset(f);
  rewrite(f1);
  s1 := #9 + '[m1]';
  s2 := '[/m]';
  while not eof(f) do
  begin
    readln(f, s);
    if (s[1] = #9) and (s[2] = '\') and (s[3] = '[') and (s[4] = '[') then
    begin
      delete(s,1,1);
      s := s1 + s;
      s := s + s2;
      writeln(f1, s);
      writeln(s);
    end
    else
    begin
      writeln(f1, s);
      writeln(s);
    end;
  end;
  close(f);
  close(f1);
end.

[GunSmoker]

Это файл в UTF-8 с BOM.