Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Клуб программистов > Свободное общение
Регистрация

Восстановить пароль

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 04.01.2009, 23:32   #1
NoComm
Новичок
Джуниор
 
Регистрация: 04.01.2009
Сообщений: 2
Сообщение Идея: Анализатор сайтов с искусственным интелектом

Есть идея создания программы - универсального анализатора сайтов с искуственным интелектом.
Но, к сожалению, нет достаточных навыков программирования для осуществления данной идеи.

Суть идеи:

Программа получает от пользователя ссылку (или множество ссылок) на сайт для "отправной точки" анализа и специальный скрипт с условиями:
- что искать в html-исходнике
- как обработать полученные результаты
- какие действия предпринять для дальнейшего поиска и анализа, в зависимости от результатов предыдущего запроса.
- параметры глубины анализа ("вглубь" и "вширь")
- и прочие условия.



Получив исходный текст страницы, создает базу со значениями, согласно фильтру (первому условию поиска).
Анализирует результаты поиска на совпадения со списком условий для дальнейшей обработки результатов.
Каждое совпадение с условием запускает следующий этап поиска и анализа, согласно условиям скрипта. И т.д.

Большинство "условий анализа" в программе по-идее должно быть основано на "Регулярных выражениях".
(http://ru.wikipedia.org/wiki/регулярные_выражения)

В качестве условий для программы можно например использовать:
- Поиск текста "по маске" с наличием неизвестных.

например: если текст страницы содержит
"Форум програ[xx]ов"
, где [xx] - это любой неизвестный заранее текст,
то выполнить соответствующее действие...

- Поиск исходного html-кода "по маске" с наличием неизвестных.

например, Вариант 1: если исходник содержит
"<a href="forumdisplay.php?f=[xx]">Клуб программистов</a>"
, где [xx] - это любой неизвестный заранее текст,
то выполнить соответствующее действие...

Вариант 2: найти в исходнике:
"<meta [xx] charset=[yy]" />", где [xx] - это любой неизвестный заранее текст.
если [yy] = "windows-1251", то выполнить действие №3
а если [yy] не содержит "windows-1251", перейти к действию №5

- если нет результатов поиска, то перейти к действию №7

- если совпадений поиска более 7ми, то..

- если совпадений поиска менее 5ти, то..

- и другие условия..


В качестве действий можно например использовать:
- добавить неизвестную [XX] в таблицу №1 (№2,3,4 и т.д.)
- перейти на "http://www.google.ru/search?q=[xx]", где [xx] - текст полученный из условия.
- запустить программу (к примеру: "mplayer.exe") с параметром: [xx].
- добавить в список следующего анализа все ссылки с сайта, соответствующие "такому-то" условию.
- перейти на 1 уровень (поддомен) вверх. (на 2,3,4 и т.д.)



В общем, программа должна уметь следовать инструкциям пользователя в задаче индексирования страниц интернета,
что вообщем-то сделает ее "анализатором с искусственным интелектом" или "программируемой поисковой системой", если кому угодно.=)


Применений данной программе можно придумать огромное количество, посему она и позиционируется как "Универсальная". =)
От простого текстового поиска с какими-то узконаправленными параметрами, которых не могут предоставить известные поисковые системы,
до сложнейших проектов по сбору и анализу контента информационных ресурсов интернета.

В общем, не знаю, что мне с этой идеей делать. Вроде и задумка-то неплохая, как мне кажется, но и воплотить в жизнь еще не скоро мне удастся.
Вот и решил с вами поделиться. Может заинтересует кого моя идея.
NoComm вне форума Ответить с цитированием
Старый 04.01.2009, 23:46   #2
Viteef
stopfake.org
Участник клуба
 
Регистрация: 03.05.2007
Сообщений: 1,927
По умолчанию

Общедоступность системы для автоматизации кражи контента это не хорошо.
Viteef вне форума Ответить с цитированием
Старый 05.01.2009, 00:50   #3
0nni
Форумчанин
 
Аватар для 0nni
 
Регистрация: 24.07.2008
Сообщений: 279
По умолчанию

По моему вы предлагаете простой парсер. А чем например хуже это или это.
зы. А с каких это пор условные переходы считаются ИИ?
Сказал и загрустил от бесспорности своей правоты.
0nni вне форума Ответить с цитированием
Старый 05.01.2009, 01:39   #4
NoComm
Новичок
Джуниор
 
Регистрация: 04.01.2009
Сообщений: 2
По умолчанию

Да, действительно, в основе - html-парсер. Но суть программы в том, чтобы дать ему удобный и, по-возможности, максимально "универсальный" интерфейс. Чтобы использовать весь функционал проги, не думая о теоритических аспектах парсинга. По-крайней мере, я пока таких не встречал..

зы. Сорри, ест-но, "ИИ" имелся в виду в переносном смысле. =)

Viteef, смотря в какое русло направить. Кухонный нож тоже можно по-разному использовать..

Последний раз редактировалось NoComm; 05.01.2009 в 02:14.
NoComm вне форума Ответить с цитированием
Старый 05.01.2009, 09:30   #5
KORN
Банхаммер
Участник клуба
 
Аватар для KORN
 
Регистрация: 17.02.2007
Сообщений: 1,754
По умолчанию

не вижу сложностей в написании такой программы... задаешь условия поиска и выполняешь определенную процедуру... посиди в гугле поищи справку по работе IdHttp, поучись парсить текст и все у тебя получится, серьезные проекты никогда быстро не пишутся, я бывает над одним до полугода сидел....
Перед тем как спросить ищи на форуме и в GOOGLE
KORN вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Синтаксический анализатор delphin100 Общие вопросы Delphi 10 01.05.2010 12:50
есть одна идея Askar_g Работа с сетью в Delphi 5 26.12.2008 09:24
Лексический анализатор serguna005 Паскаль, Turbo Pascal, PascalABC.NET 5 06.12.2008 00:00
Анализатор формул KJIOyH Помощь студентам 1 05.11.2007 18:18