UTF-8 to WINDOWS-1251

[Zanooda]

Здравствуйте! Надо вот чего...
Есть строка в UTF-8. После перекодировки функцией `UTF8ToString` выползает, естественно, ANSI.
Только хреново как-то выползает. Знаки вопроса высовываются там, где зашкаливает за 255. В аглицкой транскрипции, к примеру.
И приспичило эти знаки вопроса заменить на html-сущности (html-entities).
То есть вместо них вставить штуки типа 〹 (`&` без `amp;`,- тут текст корежится,- амперсанд+решетка+циферки+точка_с_з апятой)
Однако, никак не получается вынуть код символа в исходной строке нормально. Кракозубрины выходят, хоть в затылке не чеши.
Как получить ord(x) для UTF-8?
Заранее признателен.

[Ghost of Night]

Utf8ToAnsi(текст)

[Zanooda]

[ b ] [ б ] Одиночные звуки
[ d ] [ д ] [ Λ ] [ а ] — короткое
[ f ] [ ф ] [ a:] [ а ] — глубокое
[ 3 ] [ ж ] [ i ] [ и ] — короткое
[ d3 ] [ дж ] [ i: ] [ и ] — долгое
[ g ] [ г ] [ o ]1 [ о ] — короткое
[ h ] [ х ] [ o: ] [ о ] — глубокое
[ k ] [ к ] [ u ] [ у ] — короткое
[ l ] [ л ] [ u: ] [ у ] — долгое
[ m ] [ м ] [ e ] как в слове "плед"
[ n ] [ н ] [ ε: ] как в слове "мёд"
[ p ] [ п ] Дифтонги2
[ s ] [ с ] [ əu ]3 [ оу ]
[ t ] [ т ] [ au ] [ ау ]
[ v ] [ в ] [ ei ] [ эй ]
[ z ] [ з ] [ oi ] [ ой ]
[ t∫] [ ч ] [ ai ] [ ай ]
[∫] [ ш ]
[ r ] Мягкое [ р ] как в слове русский
[ о Знак мягкости как в русской букве Ё (ёлка)
Звуки без аналогий в русском языке
[ θ ] [ æ ]
[ ð ]
[ ŋ ] Носовой, на французский манер, звук [ n ] [ ə ]4 [нейтральный звук]
[ w ]

-------------------------------------------------------
æ,ð,∫ и иже с такими же - надо заменить на коды. (&#12345

Utf8ToAnsi - всё из той же оперы, не работает...

[veniside]

MultiByteToWideChar()

[Zanooda]

Спасибо, чтение пошло на пользу, но тараканы не выводятся по-прежнему.
Вываливаю конкретнее - мож, доразмыслит кто-нибудь...

function MyUTF8ToString(source : string; use_entities : boolean = true) : string;
var
  i : integer;
  Stream : TStringStream;
  ansi_string : ansistring;
  _ord : integer;
begin
  if not use_entities then
    Result := System.UTF8ToString(source)
  else
  begin
    ansi_string := System.UTF8ToString(source);
    Stream := TStringStream.Create;
    try
      for i := 1 to Length(ansi_string) do
      begin
        if (ansi_string[i] = '?') then
        begin
          // Вот этот-то ёordё и надо.
          // Только с ним чего-то необходимо вытворить:
          // сдвинуть, ксорнуть, сэндить, орнуть, засолить, прокипятить...
          _ord := ord(source[i]);//??????????????????????????????????????????????????
          Stream_Write(Stream, '&#' + IntToStr(_ord) + ';');
        end
        else
        begin
          Stream_Write(Stream, ansi_string[i]);
        end;
      end;
      Stream.Seek(0, soBeginning);
      Result := Stream_Read(Stream, 0, Stream.Size);
    finally
      Stream.Free;
    end;
  end;
end;

[GunSmoker]

Бррр....

ansi_string := System.UTF8ToString(source);

Ну и как же вы полагаете будут сохраняться в подобном коде не-ANSI символы?

В сообщении вам указали переводить UTF8 в Unicode-строку (WideString) и с ней уже работать. Когда все символы замените на их escape-варианты - строку можно будет конвертнуть в ANSI уже без потерь информации.

[GunSmoker]

Версия Delphi, кстати, какая?

[Zanooda]

Delphi - XE.
AnsiString потому, что после Delphi 7 всё корёжится и приходится
изобретать подобное:

function Stream_Write(AStream : TStream; S : string) : int64; inline;
var
  Temp : ansistring;
begin
  Temp := ansistring(S);
  Result := AStream.Write(Pointer(Temp)^, Length(Temp));
end;

---------------------------

А сдвиги и `маринования`... Это вот тут:
http://php.net/manual/en/function.ord.php

---
А именно:

function ordUTF8($c, $index = 0, &$bytes = null)
{
  $len = strlen($c);
  $bytes = 0;

  if ($index >= $len)
    return false;

  $h = ord($c{$index});

  if ($h <= 0x7F) {
    $bytes = 1;
    return $h;
  }
  else if ($h < 0xC2)
    return false;
  else if ($h <= 0xDF && $index < $len - 1) {
    $bytes = 2;
    return ($h & 0x1F) <<  6 | (ord($c{$index + 1}) & 0x3F);
  }
  else if ($h <= 0xEF && $index < $len - 2) {
    $bytes = 3;
    return ($h & 0x0F) << 12 | (ord($c{$index + 1}) & 0x3F) << 6
                             | (ord($c{$index + 2}) & 0x3F);
  }          
  else if ($h <= 0xF4 && $index < $len - 3) {
    $bytes = 4;
    return ($h & 0x0F) << 18 | (ord($c{$index + 1}) & 0x3F) << 12
                             | (ord($c{$index + 2}) & 0x3F) << 6
                             | (ord($c{$index + 3}) & 0x3F);
  }
  else
    return false;
}

...

[GunSmoker]

Сообщение от Zanooda

Delphi - XE.
AnsiString потому, что после Delphi 7 всё корёжится и приходится
изобретать подобное

5 баллов, чего уж там.

Результат UTF8ToString сохраняй в String - вот и не будет у тебя никаких потерь символов.

При условии, конечно, что у тебя действительно нормальный UTF8. В чём я сейчас очень сильно сомневаюсь:

source : string // <- WTF?!

UTF8ToString(source);

Топик - хороший пример, как НЕ НАДО делать. Программировать надо осознанно, а не методом тыка.

[Zanooda]

Методом тыка Америку открыли. А без неё какая скукатища по Земле расплескалась бы...
В общем, вот, кому интересно, ещё по теме:
http://habrahabr.ru/blogs/javascript/118973/
...
А строка у меня, действительно, не совсем utf-8, наверное.
Спасибо.