Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > IT форум > Общие вопросы по программированию, компьютерный форум
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 27.10.2017, 11:00   #1
Паровоз
Новичок
Джуниор
 
Регистрация: 27.10.2017
Сообщений: 1
Восклицание Написание сканера html кода

Пожалуйста ,помогите подобрать язык для создания данной программы .
Идея такая.
Программа сканирует код страницы на предмет определенного слова.Например Твиттер. Программа ищет слово после знака ":" ,игнорируя пробелы ,в твитах .Если программа не находит такого слова,то она перезагружает страницу .Идет задержка в минут 5 и программа опять прогоняет код по новой.На пример программа нашла слово "сосиска" и сохраняет его в TXTшнике.
Может ,я много прошу,но охота понять ,как можно прогонять коды страниц ,при этом их сканируя.
Паровоз вне форума Ответить с цитированием
Старый 27.10.2017, 11:11   #2
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Любой, который вам нравится.

Начать стоит с изучения HTTP протокола и DevTools хрома.

Потом взять библиотеки (ну или стандартное если есть) с HTTP клиентом и HTML парсером (XPath или CSS селекторы) для вашего языка и делать нужные запросы.

Ну или как вариант вместо составления запросов вручную можно взять полноценный браузер типа Selenium.

У Твитера есть API, возможно нужный вам функционал доступен там.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.

Последний раз редактировалось Alex11223; 27.10.2017 в 11:16.
Alex11223 вне форума Ответить с цитированием
Старый 27.10.2017, 13:04   #3
ADSoft
Старожил
 
Регистрация: 25.02.2007
Сообщений: 4,150
По умолчанию

таки это типа парсинг страниц ))
можно curl ом получать в php скрипт и работать там
ADSoft вне форума Ответить с цитированием
Старый 27.10.2017, 14:44   #4
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Или не curl, а guzzle.
Или curl, но не РНР.
Или не curl и не РНР.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 19.11.2017, 08:19   #5
СтудПом
Форумчанин
 
Регистрация: 08.11.2017
Сообщений: 347
По умолчанию

Из Виндуза - Builder|Delphi барузер пишется за полчаса.

Из командной строки (sh|bash) *nix:
скачивание curl|uget...
парсинг на уровне текста sed|awk выборка ссылок
есть парсеры и языки (Python, perl, JavaScript) для более сложного разбора XML (XMLStarlet) и HTML
фильтрация и удаление повторов sort и uniq
СтудПом вне форума Ответить с цитированием
Старый 19.11.2017, 11:00   #6
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
Сообщение от СтудПом Посмотреть сообщение
Builder|Delphi барузер пишется за полчаса.
Браузер?

Не за полчаса, особенно в старых, там даже просто со строками возникают неудобства, а для парсинга HTML вообще не особо с библиотеками (и там нет менеджера пакетов, придется самому качать и подключать).

Ну и если нужен именно браузер, то там нет Selenium, а обычные типа TWebBrowser и CEF неудобны для автоматизации.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Нужна не большая разработка написание сетевого сканера ceo. orbita77771 Фриланс 0 08.04.2015 14:52
Перенаправление в Edit данных со сканера штрих кода xakkkkker Общие вопросы Delphi 16 15.07.2013 13:10
Написание кода на с# Феттель Помощь студентам 0 22.12.2012 12:58
Выдернуть куски кода из html-кода trafbite Помощь студентам 7 18.08.2007 13:51