Алгоритм классификации текста - Общие вопросы по программированию, компьютерный форум

WorldMaster · 01.11.2019, 14:20

Здравствуйте.
Есть задача на классификацию текста.
Даны небольшие отрывки текста в которых описаны определенные действия людей. И есть справочник классов. Нужен какой то алгоритм который сможет проанализировать фрагмент текста и определить к какому классу он относится.
Что то типа определить тематику сообщения.

Пример текста такой:
Однажды в студеную зимнюю пору
Лошадка пипи***ой примерзла к забору.

класс 1: "Примерзание" - характеризуется примерзанием конечностей к различным объектам.

Вроде вычитал что существуют какие то методы но не смог найти ни одной реализации или примера рабочего.
Может кто подскажет чего нибудь полезного?

Pavia · 01.11.2019, 15:46

Походу у вас словаря не хватает. Либо датасета с 1 000 примерами.

WorldMaster · 01.11.2019, 16:03

Цитата:

Сообщение от Pavia

Походу у вас словаря не хватает. Либо датасета с 1 000 примерами.

Проблема в том что сам датасет генерирует пользователь который особо не придерживается структуры. Натренировать нейросеть наверное врядли получится.

Pavia · 01.11.2019, 16:37

Лучше в телеге спросите
Natural Language Processing
https://t.me/natural_language_processing

Pavia · 01.11.2019, 17:06

Catboost советуют попробовать
https://youtu.be/xl1fwCza9C8

01.11.2019, 14:20	#1
WorldMaster Старожил Регистрация: 25.08.2011 Сообщений: 2,841	Алгоритм классификации текста Здравствуйте. Есть задача на классификацию текста. Даны небольшие отрывки текста в которых описаны определенные действия людей. И есть справочник классов. Нужен какой то алгоритм который сможет проанализировать фрагмент текста и определить к какому классу он относится. Что то типа определить тематику сообщения. Пример текста такой: Однажды в студеную зимнюю пору Лошадка пипи*ой примерзла к забору. класс 1: "Примерзание" - характеризуется примерзанием конечностей к различным объектам. Вроде вычитал что существуют какие то методы но не смог найти ни одной реализации или примера рабочего. Может кто подскажет чего нибудь полезного? Skype - wmaster_s E-Mail** - WorldMasters@gmail.com Работаем по 3 критериям - быстро, качественно, недорого. Заказчик выбирает любые два.

01.11.2019, 15:46	#2
Pavia Лис Старожил Регистрация: 18.09.2015 Сообщений: 2,409	Походу у вас словаря не хватает. Либо датасета с 1 000 примерами. Хорошо поставленный вопрос это уже половина ответа. \| Каков вопрос, таков ответ. У дзен программиста программа делает то что он хотел, а не то что он написал .

01.11.2019, 16:37	#4
Pavia Лис Старожил Регистрация: 18.09.2015 Сообщений: 2,409	Лучше в телеге спросите Natural Language Processing https://t.me/natural_language_processing Хорошо поставленный вопрос это уже половина ответа. \| Каков вопрос, таков ответ. У дзен программиста программа делает то что он хотел, а не то что он написал .

01.11.2019, 17:06	#5
Pavia Лис Старожил Регистрация: 18.09.2015 Сообщений: 2,409	Catboost советуют попробовать https://youtu.be/xl1fwCza9C8 Хорошо поставленный вопрос это уже половина ответа. \| Каков вопрос, таков ответ. У дзен программиста программа делает то что он хотел, а не то что он написал .

Опции темы	Поиск в этой теме
Версия для печати Отправить по электронной почте	Поиск в этой теме: Расширенный поиск

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Нейронная сеть для классификации текста	antoshkatrue	Python	0	15.04.2017 16:35
Нейронная сеть для классификации текста	antoshkatrue	Фриланс	1	10.04.2017 10:19
Какой метод коллективного распознавания использовать для классификации цифр/символов?	ChicoID	Общие вопросы по программированию, компьютерный форум	1	08.10.2016 13:01
Пропадает часть текста. Алгоритм преобразования текста.	SashaRasha	Общие вопросы Delphi	6	03.03.2014 06:25
Описание классификации информации	Kseniya S	Помощь студентам	0	18.06.2012 17:27