![]() |
|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
![]() |
|
Опции темы | Поиск в этой теме |
![]() |
#1 |
Новичок
Джуниор
Регистрация: 04.01.2009
Сообщений: 2
|
![]()
Есть идея создания программы - универсального анализатора сайтов с искуственным интелектом.
Но, к сожалению, нет достаточных навыков программирования для осуществления данной идеи. Суть идеи: Программа получает от пользователя ссылку (или множество ссылок) на сайт для "отправной точки" анализа и специальный скрипт с условиями: - что искать в html-исходнике - как обработать полученные результаты - какие действия предпринять для дальнейшего поиска и анализа, в зависимости от результатов предыдущего запроса. - параметры глубины анализа ("вглубь" и "вширь") - и прочие условия. Получив исходный текст страницы, создает базу со значениями, согласно фильтру (первому условию поиска). Анализирует результаты поиска на совпадения со списком условий для дальнейшей обработки результатов. Каждое совпадение с условием запускает следующий этап поиска и анализа, согласно условиям скрипта. И т.д. Большинство "условий анализа" в программе по-идее должно быть основано на "Регулярных выражениях". (http://ru.wikipedia.org/wiki/регулярные_выражения) В качестве условий для программы можно например использовать: - Поиск текста "по маске" с наличием неизвестных. например: если текст страницы содержит "Форум програ[xx]ов" , где [xx] - это любой неизвестный заранее текст, то выполнить соответствующее действие... - Поиск исходного html-кода "по маске" с наличием неизвестных. например, Вариант 1: если исходник содержит "<a href="forumdisplay.php?f=[xx]">Клуб программистов</a>" , где [xx] - это любой неизвестный заранее текст, то выполнить соответствующее действие... Вариант 2: найти в исходнике: "<meta [xx] charset=[yy]" />", где [xx] - это любой неизвестный заранее текст. если [yy] = "windows-1251", то выполнить действие №3 а если [yy] не содержит "windows-1251", перейти к действию №5 - если нет результатов поиска, то перейти к действию №7 - если совпадений поиска более 7ми, то.. - если совпадений поиска менее 5ти, то.. - и другие условия.. В качестве действий можно например использовать: - добавить неизвестную [XX] в таблицу №1 (№2,3,4 и т.д.) - перейти на "http://www.google.ru/search?q=[xx]", где [xx] - текст полученный из условия. - запустить программу (к примеру: "mplayer.exe") с параметром: [xx]. - добавить в список следующего анализа все ссылки с сайта, соответствующие "такому-то" условию. - перейти на 1 уровень (поддомен) вверх. (на 2,3,4 и т.д.) В общем, программа должна уметь следовать инструкциям пользователя в задаче индексирования страниц интернета, что вообщем-то сделает ее "анализатором с искусственным интелектом" или "программируемой поисковой системой", если кому угодно.=) Применений данной программе можно придумать огромное количество, посему она и позиционируется как "Универсальная". =) От простого текстового поиска с какими-то узконаправленными параметрами, которых не могут предоставить известные поисковые системы, до сложнейших проектов по сбору и анализу контента информационных ресурсов интернета. В общем, не знаю, что мне с этой идеей делать. Вроде и задумка-то неплохая, как мне кажется, но и воплотить в жизнь еще не скоро мне удастся. Вот и решил с вами поделиться. Может заинтересует кого моя идея. ![]() |
![]() |
![]() |
![]() |
#2 |
stopfake.org
Участник клуба
Регистрация: 03.05.2007
Сообщений: 1,927
|
![]()
Общедоступность системы для автоматизации кражи контента это не хорошо.
|
![]() |
![]() |
![]() |
#4 |
Новичок
Джуниор
Регистрация: 04.01.2009
Сообщений: 2
|
![]()
Да, действительно, в основе - html-парсер. Но суть программы в том, чтобы дать ему удобный и, по-возможности, максимально "универсальный" интерфейс. Чтобы использовать весь функционал проги, не думая о теоритических аспектах парсинга. По-крайней мере, я пока таких не встречал..
зы. Сорри, ест-но, "ИИ" имелся в виду в переносном смысле. =) Viteef, смотря в какое русло направить. Кухонный нож тоже можно по-разному использовать.. ![]() Последний раз редактировалось NoComm; 05.01.2009 в 02:14. |
![]() |
![]() |
![]() |
#5 |
Банхаммер
Участник клуба
Регистрация: 17.02.2007
Сообщений: 1,754
|
![]()
не вижу сложностей в написании такой программы... задаешь условия поиска и выполняешь определенную процедуру... посиди в гугле поищи справку по работе IdHttp, поучись парсить текст и все у тебя получится, серьезные проекты никогда быстро не пишутся, я бывает над одним до полугода сидел....
|
![]() |
![]() |
![]() |
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Синтаксический анализатор | delphin100 | Общие вопросы Delphi | 10 | 01.05.2010 12:50 |
есть одна идея | Askar_g | Работа с сетью в Delphi | 5 | 26.12.2008 09:24 |
Лексический анализатор | serguna005 | Паскаль, Turbo Pascal, PascalABC.NET | 5 | 06.12.2008 00:00 |
Анализатор формул | KJIOyH | Помощь студентам | 1 | 05.11.2007 18:18 |