C#: нужно проанализировать веб-страницу - Общие вопросы .NET

Manonia · 06.05.2010, 12:28

Добрый день, коллеги!
Не могли бы вы подсказать, как можно анализировать веб-страницы? Т.е. подсчитывать сколько в ней контента, ссылок, страниц и как-то строить потом процентное соотношение?

P.S. Вопрос отнесен в данный раздел, потому что писать нужно на C#.

Namolem · 06.05.2010, 13:53

можно подключиться через сокет, прочитать ответ сервера и регулярными выражениями проанализировать контент. Чуть ниже моя тема, там пример кода

Manonia · 07.05.2010, 05:00

Не подскажете возможно ли на C# "составить" объектную модель документа? Т.е., например, есть текстовый файл и в нем теги и текст. Программа должна проанализировать и составить объектную модель.

Hollander · 07.05.2010, 12:10

Конечно возможно, в интернете есть HTML парсеры, который делают это, составляя дерево тегов.

Manonia · 11.05.2010, 07:50

Namolem, пока нашла Majestic-12 и HtmlAgilityPack. Пытаюсь разобраться.
У меня стоит задача отделить на странице основной контент от таких частей, как меню, шапка сайта, подвал. Интересно вот что: как можно реализовать проверку того, в каком соотношении находится основной контент к ненужной информации(меню, шапка сайта, подвал)?

06.05.2010, 12:28	#1
Manonia Пользователь Регистрация: 13.01.2010 Сообщений: 77	C#: нужно проанализировать веб-страницу Добрый день, коллеги! Не могли бы вы подсказать, как можно анализировать веб-страницы? Т.е. подсчитывать сколько в ней контента, ссылок, страниц и как-то строить потом процентное соотношение? P.S. Вопрос отнесен в данный раздел, потому что писать нужно на C#.

07.05.2010, 05:00	#3
Manonia Пользователь Регистрация: 13.01.2010 Сообщений: 77	Не подскажете возможно ли на C# "составить" объектную модель документа? Т.е., например, есть текстовый файл и в нем теги и текст. Программа должна проанализировать и составить объектную модель. Последний раз редактировалось Manonia; 07.05.2010 в 09:46.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Как добавлять видео avi на веб-страницу?	Nolvende	Общие вопросы .NET	1	13.02.2010 02:31
проанализировать массив?	maxNTF	Общие вопросы C/C++	4	17.01.2010 20:12
ссылки на веб-страницу в Delphi, как?	UNREALcv	Помощь студентам	7	05.01.2010 00:37
как загрузить в окно веб страницу?	proglamer	Работа с сетью в Delphi	3	07.09.2007 20:10

06.05.2010, 13:53	#2
Namolem Oo Форумчанин Регистрация: 10.10.2009 Сообщений: 350	можно подключиться через сокет, прочитать ответ сервера и регулярными выражениями проанализировать контент. Чуть ниже моя тема, там пример кода

07.05.2010, 12:10	#4
Hollander Участник клуба Регистрация: 03.05.2007 Сообщений: 1,189	Конечно возможно, в интернете есть HTML парсеры, который делают это, составляя дерево тегов.

11.05.2010, 07:50	#5
Manonia Пользователь Регистрация: 13.01.2010 Сообщений: 77	Namolem, пока нашла Majestic-12 и HtmlAgilityPack. Пытаюсь разобраться. У меня стоит задача отделить на странице основной контент от таких частей, как меню, шапка сайта, подвал. Интересно вот что: как можно реализовать проверку того, в каком соотношении находится основной контент к ненужной информации(меню, шапка сайта, подвал)?