Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > C/C++ программирование > Qt и кроссплатформенное программирование С/С++
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 25.10.2011, 17:11   #1
Lindemann66
Форумчанин
 
Регистрация: 28.02.2011
Сообщений: 127
Стрелка Как узнать, что страница с JS (AJAX)?

Всем привет!

У меня следующий нетривиальный вопрос:

Задача - загрузить из интернета код страницы и осуществить его парсинг, как-то:
  • Получить содержимое всех ссылок <a>
  • Получить содержимое контентных тэгов, таких как <p>, <table> и т.д.
  • и т.д. и т.п.

Какие средства можно использовать для решения данной проблемы?
  • Средства, предоставляемые QtWebKit
  • Другие средства (допустим, htmlcxx)

Всё бы хорошо, но у QtWebKit есть один большой минус - он производит рендер страницы - для того, чтобы, если сайт типа facebook.com (имеющий исключительно JS-код) - на выходе давать "человеческий" html
На эту операцию по рендеру и получению JS -> html тратится достаточно много ресурсов - по сравнению с другими средствами, которые осуществляют парсинг страницы исключительно в виде "как есть" - т.е. пришёл html код - всё ок, пришёл js код (с twitter'а, например) - ну чтож, значит, пропарсить и получить ссылки не удастся

Так вот, выходит, что использование QtWebKit обосновано только в том случае, если на сайте преобладает JS-код, AJAX-вставки и т.п.

Отсюда вопрос - есть ли какие-то адекватные способы осуществления проверки того, что на старнице присутствует динамический JS-код для показа контента?
Знает ли кто-то такие способы?

Буду очень признателен за любой ответ!
Lindemann66 вне форума Ответить с цитированием
Старый 27.10.2011, 11:27   #2
p51x
Старожил
 
Регистрация: 15.02.2010
Сообщений: 15,709
По умолчанию

Адекватный способ только один грузит страницу и смотреть, если там ЖС или нет.
p51x вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
WebBrowser как узнать что страница полностью догрузилась Comer_Jus Работа с сетью в Delphi 6 01.07.2011 09:46
idhttp как узнать что страница скачана/загружена до конца? Alar Работа с сетью в Delphi 10 29.03.2011 16:31
как узнать что страница в WebBrowser загружена designer999 Работа с сетью в Delphi 2 05.05.2010 21:12
Как узнать что в содержимое буфера обмена добавилось что либо? zotox Общие вопросы Delphi 2 15.09.2009 12:07
Как узнать загрузилась ли страница в webbrowser? Pedro Работа с сетью в Delphi 5 22.08.2007 22:00