Алгоритм определения наличия текста в файле.

[KorPaEv]

Всем доброго времени суток.
Собственно вопрос в теме.
Есть произвольный бинарный файл, содержит набор спецсимволов типа %:?*№ и т.д. и текст "Привет, это тест!"
Подскажите где копать, по поводу алгоритма определения текста в файле.
Т.е. моя задача написать функцию, которая вернет мне 1, если файл, помимо спецсимволов содержит текст.
Можно тупо загнать все символы в исключение и сканировать, но это долго и тупо.
Подскажите где можно поискать алгоритмы распознавания текста в файле (точнее наличия текста, для начала) в фйле??
Заранее спасибо.

[BOBAH13]

Сообщение от KorPaEv

Всем доброго времени суток.
Собственно вопрос в теме.
Есть произвольный бинарный файл, содержит набор спецсимволов типа %:?*№ и т.д. и текст "Привет, это тест!"
Подскажите где копать, по поводу алгоритма определения текста в файле.
Т.е. моя задача написать функцию, которая вернет мне 1, если файл, помимо спецсимволов содержит текст.
Можно тупо загнать все символы в исключение и сканировать, но это долго и тупо.
Подскажите где можно поискать алгоритмы распознавания текста в файле (точнее наличия текста, для начала) в фйле??
Заранее спасибо.

Файл это набор байт, текст это набор байт определенного диапазона (см. ANSI, UNICODE и др.). А теперь подумайте, какая вероятность, что набор байт файла не содержит не единого байта из набора текста? Верно, ничтожно мала, соответственно функция будет практически всегда возвращать, что содержит текст.

Ну а так, я уже ответил, проверять попадания байта (двух байт и больше в соответствии с кодировкой) в допустимый диапазон.

[KorPaEv]

Сообщение от BOBAH13

Файл это набор байт, текст это набор байт определенного диапазона (см. ANSI, UNICODE и др.). А теперь подумайте, какая вероятность, что набор байт файла не содержит не единого байта из набора текста? Верно, ничтожно мала, соответственно функция будет практически всегда возвращать, что содержит текст.

Ну а так, я уже ответил, проверять попадания байта (двух байт и больше в соответствии с кодировкой) в допустимый диапазон.

Стало быть придется тупо загонять таблицы символов?

[WorldMaster]

Сообщение от KorPaEv

Стало быть придется тупо загонять таблицы символов?

Да. Придется. Для начала определите какой набор символов может являться текстом, а потом сканируйте текст и проверяйте.

[TinMan]

А как работает юниксовая команда strings?

[BOBAH13]

Сообщение от KorPaEv

Стало быть придется тупо загонять таблицы символов?

Либо так либо как я сказал, диапазон, т.е.

if (текущий символ >= 'a') && (текущий символ <= 'z')

Но тут снова другой вопрос, какой язык текста, + не забыть про буквы в верхнем регистре.

На самом деле, я считаю надо определить, ваши правила того, чего хотите найти в файле в итоге, я просто думаю вы сильно углубились, стоит абстрагироваться, стараться хотя бы. Перебор букв, в общем, это сильно вы углубились, лучше искать сочетание букв или слов и символов, т.е. конкретизировать поиск.

[pproger]

Сообщение от TinMan

А как работает юниксовая команда strings?

while (*p) {
    if (isprint(*p))
        printf("%c", *p);
    ++p;
}

примерно так

if (текущий символ >= 'a') && (текущий символ <= 'z')

господи..

[BOBAH13]

Сообщение от pproger

while (*p) {
    if (isprint(*p))
        printf("%c", *p);
    ++p;
}

примерно так


господи..

Я знал! Верно, так лучше, давно не писал тем более такого, на С++. В Java есть такая штука Character, просто не знал аналогичного в C++.