Чтение файла в UTF-8(без BOM)

[Cats_foot]

Доброго времени суток форумчане. Есть такая задача: Имеются лог файлы, нужно найти определенные слова в строке, далее сохранить в отдельный файл название файла, строку и номер строки. файлы в ZIP архиве в кодировке UTF-8(без BOM).

Вопрос собственно в том, как прочитать файл в кодировке UTF-8(без BOM) ?
В C++ я новичок, как и в программирование всего 3 недели. Ищу нужные мне слова вот таким способом:

setlocale(LC_ALL,"russian");
    FILE* log_file;
    FILE* result_file;
    char current_str[100000];

	if(!(log_file=fopen("c:\\test\\123\\log.txt", "r")))
    {
        printf("Open log_file failed.\n");
		_getch();
        return 0;
    }

	result_file=fopen("c:\\test\\123\\res.txt", "w");

    fin: while(!(feof(log_file)))
    {
        fgets(current_str, 100000, log_file);

        if (ferror(log_file))
        {
            printf("error");
            return 0;
        }

        if (((strstr(current_str,"Слово1"))!=NULL)&&((strstr(current_str,"Слово2"))!=NULL))
        {
            fputs(current_str, stdout);
            fputs(current_str, result_file);

        }
        
    }
_getch();
    fclose(log_file);
    fclose(result_file);

В общем хелп люди добрые.

[veniside]

BOM нужен только для того, чтобы понять, какая в файле кодировка (UTF-8, UTF-16, etc) и в каком она формате (LE/BE). Если формат и так известен, BOM не нужен.

Далее, чтобы сравнивать UTF-8 строку с образцом, нужно либо образец перевести в UTF-8, или, что лучше, исходный текст преобразовать в кодировку образца. В винде для этого есть WideCharToMultiByte() и MultiByteToWideChar() соответственно.

[Cats_foot]

Спасибо за разъяснение про BOM. А насчет функции WideCharToMultiByte() не могли ли привести пример, а то в MSDN я никак не могу с ним разобраться(

[Rififi]

Cats_foot

если у тебя Visual Studio 2005 или выше, есть способ проще:

FILE* fp = _wfopen(L"log.txt", L"rt, ccs=UTF-8");
...
fgetws(...);

преобразование char -> wchar будет произведено автоматически.

[Cats_foot]

У меня VS 2008, а вот char в wchar у меня преобразовываться никак не хочет.

пишет "error C2664: 'fgetws' : cannot convert parameter 1 from 'char [10000]' to 'wchar_t *'

[Пепел Феникса]

дык читать то надо в wchar_t, а не в char.
я раньше вообще руками реализовывал чтение UTF8 файлов.

[Cats_foot]

Сообщение от Пепел Феникса

дык читать то надо в wchar_t, а не в char.
я раньше вообще руками реализовывал чтение UTF8 файлов.

Ну я даже не представляю как это пока что)) хотя пытался подключить библиотеки с готовыми перекодировками UTF-8 мельком видел что там.

Как я понимаю при чтение wchar_t мне нужно изменить fputs на fputws ?
но в любом случае возникает еще одна ошибка с аргументами: error C2665: 'strstr' : none of the 2 overloads could convert all the argument types Немного покопавшись отключил Юникод... не помогло(

[Rififi]

Cats_foot

Как я понимаю при чтение wchar_t мне нужно изменить fputs на fputws ?
но в любом случае возникает еще одна ошибка с аргументами: error C2665: 'strstr' : none of the 2 overloads could convert all the argument types Немного покопавшись отключил Юникод... не помогло(

не только fputs, но все функции, работающие со строками.
символы, закодированный в utf-8, могут не влезать в размер char (напримре русские символы - уже не влезают), поэтому тебе по-любому придется иметь дело с wchar_t. соответственно юзать wide-аналоги функций, например wcsstr и пр. подробнее смотри в msdn

[Cats_foot]

не только fputs, но все функции, работающие со строками.
символы, закодированный в utf-8, могут не влезать в размер char (напримре русские символы - уже не влезают), поэтому тебе по-любому придется иметь дело с wchar_t. соответственно юзать wide-аналоги функций, например wcsstr и пр. подробнее смотри в msdn

Спасибо, как раз то что я хотел услышать... полез в MSDN разбираться.

[Cats_foot]

Всем огромное спасибо. Прочитал в этой кодировке) Буду дальше разбираться со своей программой, надеюсь не сильно буду вам докучать вопросами, хотя их еще много.
Тему можно закрыть.