Кластеризация текстовых документов и семантический поиск

[Kostia]

За лето нужно собрать информацию(составить бизнес план).

Области:
1. Система тестирования знаний с свободной формой введения ответов(там есть и тестовая форма, и все очень сложно связано между собой)
2. Кластеризация текстовых документов. Новостные ленты, документы фирм, предприятий ...
3. Семантический поиск среди документов и внутри большого текста. Т.е. не просто поиск абсолютно идентичной последовательности символов, а с учетом ошибок в искомых словах и не учете незначимых слов между ними.

Интересно мнение, будут ли востребованы программные решения в этих областях?

[Человек_Борща]

Третий вариант не сказал бы что востребован, не таким методом(я думаю) пользуются поисковые машаны для выявлиня однозначного копипаста или кривого рерайта. А вообще вариантов масса, например в библиотеке "не помню названия и автора, но помню кусок содержания".

Системы тестирования? о этих очень и очень много. Если попытаться создать общее решение создания системы тестирования в опр. пользователем виде, форме, размере, вопросами, вариантами ответов и так далее, то да, это будет востребовано.
Ярким примером будет Inno Setup, явл. общим решением создания любых, абсолютно любых, инсталяторов.

Про второй не понял немного.

[Kostia]

Третий вариант не сказал бы что востребован, не таким методом(я думаю) пользуются поисковые машаны для выявлиня однозначного копипаста или кривого рерайта.

Тут много направление, просто при поиске в тексте часто раздражает та самая однозначность(совпадение символ в символ) при поиски подстроки в тексте. Вполне вероятно что я не помню порядок слов(да и всех слов фразы, а только ключевые) и правильность их написания, но найти хочу тот участок которым мне нужно, на странице сайта, в документе, книге. Это правда не совсем семантический поиск, но и обычным его не назовешь.
Также предполагается и именно семантический поиск по тексту или кучи документов, когда поисковой системе задаешь найти что-то, например "Найди определение системы", она его находит, выводит самый близкий найденный абзац или предложение и ниже в порядку убывания "доверия" остальные тексты/ссылки. Или спрашиваем который час, какая погода, кто пукнул в лужу, а программа не просто дает пачку ссылок, а дает вполне конкретный ответ. Знаю что подобная разработка велась в Новосибирске в одном из научных заведений академ городка, но проект был закрыт.

Системы тестирования? о этих очень и очень много. Если попытаться создать общее решение создания системы тестирования в опр. пользователем виде, форме, размере, вопросами, вариантами ответов и так далее, то да, это будет востребовано.

И таких систем полно, а вот чтобы можно было отвечать в свободной форме, а потом программа по ответу формировала(пока что только искала в базе заранее заготовленные) и задавала дополнительные и наводящие вопросы.

Про второй не понял немного.

Новости делятся на рубрики: Политика, Наука ...
Документы делятся на свои уникальные типы/классы
И например есть поток новостей(или просто груда документов) которые нужно рассортировать по тематикам. В общем, грубо говоря, отделить белые фасолины от коричневых.

[Utkin]

Тут много направление, просто при поиске в тексте часто раздражает та самая однозначность(совпадение символ в символ) при поиски подстроки в тексте. Вполне вероятно что я не помню порядок слов(да и всех слов фразы, а только ключевые) и правильность их написания, но найти хочу тот участок которым мне нужно, на странице сайта, в документе, книге. Это правда не совсем семантический поиск, но и обычным его не назовешь.

Ну тут просто надо смотреть в регулярные выражения.

И например есть поток новостей(или просто груда документов) которые нужно рассортировать по тематикам. В общем, грубо говоря, отделить белые фасолины от коричневых.

Это частный случай третей задачи.

[Kostia]

Если бы все было так просто )
Но общий подход для решения задач которые я описал выше от части уже разработан и идет его программная реализация. Разработка ведется для одной тестирующей системы для дистантников, но также планируется и более широкое использование разработанных алгоритмов, программных модулей и пр. Вот для того чтобы определиться с более перспективным(востребованным) направлением, чтобы сконцентрировать больше внимания именно на нем.

PS: 2 и 3 вытекли из 1

[Utkin]

Если бы все было так просто )

Не увидел, почему все так сложно . Получается вы как-то описали задачу вскользь, не упомянув ряд факторов, влияющих на принятие решения, а это не есть хорошо.

[Kostia]

Извиняюсь!
Простой пример это есть 3 слова ABC, в тексте нужно найти все возможные комбинации из A'B'C' + шум, где A'B'C' словоформы, а шум не значимые слова-связки и ошибки в словах, при этом чтобы семантический смысл ABC == A'B'C' + шум, и соответственно правая часть была согласованной, т.е. слова стояли в соответствующих словоформах.
В терминах разрабатываемого алгоритма/подхода, это поиск контекста.
Он может осуществляться в 2х видах, если мы имеем A и !A, то их "семантика" противоположна, но тематика одна и написание примерно одинаково. Поэтому можно поиск(слов и контекстов) осуществлять сделав жесткую схожесть по семантики и тематике, либо только по тематике.

Пример:

Красивый и некрасивый

Тематика одна, а смысл разный и написание немного различны. И разные способы сравнения могут привести к абсолютно противоположным ответам. Но оба требуются, первый при оценивании правильности ответа(т.е. важна семантика), а при поиске слова/слов в документе нужен подход без жесткого соответствия семантики.

Но оба этих поиска я обычно объединяю словами "семантический поиск", а тематику приравниваю к схожести слов(и др. более и менее абстрактных объектов) по написанию(точнее по их редакционному расстоянию).

Про написание слов, тут отдельная история. Скажу что используется дистанция редактирования(редакционное расстояние, Расстояние Левенштейна).

Вах, много писанины =(

[Utkin]

БД с антиподами, существительными, глаголами, прилагательными и т.д. Разбор лексем.