Какая-то трабла с кодировкой

[Den7656]

Приветствую Вас. Пишу программу для перевода Delphi-исходников с одного языка на другой (комментари, значения STRING и тд.) через онлайн переводчик от Google. Никак не могу понять, каким образом кодируется переменная TEXT, отправляемая в GET-запросе. С английским и русским языком все понятно, проблем не возникло, а вот с китайскими символами получилась проблема.
например, если взять китайский символ (http://sintetic.xaker.ru/Unit1.htm) (для просмотра символа нужно установить в свойствах отображения страницы кодировку - Китайская упрощенная) и вставить его в перевочик (http://translate.google.ru/), URL будет выглядеть так:

GET http://translate.google.ru/translate_a/t?client=t&text=%E8%A7%A3&hl=ru&sl=zh-CN&tl=ru&multires=1&otf=1&pc=1&ssel=3&tsel=6&sc=1
Referer: http://translate.google.ru/?hl=ru&tab=TT
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.112 Safari/534.30
Accept: */*
Accept-Encoding: gzip,deflate,sdch
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.3
Cookie: SID=......
Connection: keep-alive

в интернете нашел функцию для кодирования URL'а urlencode:

function urlencode (s:string):string;
var
  i,j:integer;
  utf8:utf8string;
begin
  i:=1;
  while i<=length(s) do begin
    case s[i] of
      ' ':begin
            s[i]:='+';
            inc (i);
          end;
      'a'..'z','A'..'Z','0'..'9':
        inc (i);
    else
      utf8:=UTF8Encode(s[i]); // Convert to utf-8
      delete (s,i,1);
      for j:=1 to length(utf8) do begin
        insert ('%'+IntToHex(ord(utf8[j]),2),s,i);
        inc (i,3);
      end;
    end;
  end;
  Result:=s;
end;

с другими языками прокатывает нормально а вот с китайским не получается.

то есть получается, браузер при переводе указанного выше символа выдает URL: http://translate.google.ru/translate_a/t?client=t&text=%E8%A7%A3&hl=ru&sl=zh-CN&tl=ru&multires=1&otf=1&pc=1&ssel =3&tsel=6&sc=1

А эта функция выдает URL: http://translate.google.ru/translate_a/t?client=t&text=%D0%85%D0%B2&hl=ru&sl=zh-CN&tl=ru&multires=1&otf=1&pc=1&ssel =3&tsel=6&sc=1
Помогите пожалуйста разобраться. Я уже голову сломал, не пойму никак где косяк.

[veniside]

> не пойму никак где косяк

косяк в том куске говнокода, который вы нашли в тырнете. Надо просто перевести весь текст в человеческий UTF-8, а потом уже его заурленкодить.

[Den7656]

так там же и так оно кодируется в UTF8 в строчке:
utf8:=UTF8Encode(s[i]); // Convert to utf-8

[veniside]

хм, говнокод таки рабочий, хоть и написан через задницу.
У меня в XE2 он выдаёт %E8%A7%A3, так что признавайтесь, какая у вас версия Дельфи, будем посмотреть.

[Den7656]

delphi 7.
Странно, почему такое может быть...

[veniside]

потому, что в Дельфи 7 string — это AnsiString. Поменяйте заголовок на:

function urlencode (s:widestring):string;

должно полегчать. Если нет, значит вы как-то не так храните 解
У меня в 7 дельфи оно, после изменения заголовка, выдаёт %E8%A7%A3

По-нормальному, функция должна выглядеть примено так:

// --  --
function urlEncode(const URL: WideString): AnsiString;
var
  i: Integer;
  utf8: AnsiString;
begin
  result := '';
  utf8 := UTF8Encode(URL);
  //
  for i := 1 to length(utf8) do begin
    //
    case (utf8[i]) of

      ' ': result := result + '+';

      '0'..'1', 'A'..'Z', 'a'..'z', '-', '_': result := result + utf8[i];

      else
        result := result + '%' + AnsiString(IntToHex(byte(utf8[i]), 2));
    end;
  end;
end;

[Den7656]

Не получается (
Вот исходник, почти весь мусор вычистил.
Может посмотрите в чем дело, если есть возможность и желание.
В любом случае спасибо большое.
http://programmersforum.ru/attachmen...1&d=1321667862

[Den7656]

Исправил функцию на Вашу, получаю %D0%85%D0%B2.
Видимо, действительно, не так загружаю символ.

[veniside]

А, ну так, "charset=GBK", это ж надо из этой китайской кодировки его сначала декодировать в человеческий юникод (UTF-16), а потом уже кормить гуглу.

В общем, в AnsiString побайтно записываете символы, для 解 первый байт (в GBK кодировке) будет BD, второй E2.

Далее, эту AnsiString перегоняем в юникод:

// --  --
function GBK2UTF16(const src: AnsiString): WideString;
var
  len: Integer;
begin
  len := length(src) shl 2;
  SetLength(result, len);
  len := MultiByteToWideChar(936, 0, PAnsiChar(src), length(src), PWideChar(result), len);
  SetLength(result, len);
end;

(936 — это майкрософтоский номер для кодировки GBK).

После этого уже передаёте её в URLEncode().

[Den7656]

Спасибо ОГРОМНОЕ !!!! Очень много времени на этом убил и еще не знаю сколько убил-бы... С меня +