Парсинг сайтов: что лучше сделать, - веб-сервис или программу?

[kvitaliy]

Сообщение от EducatedFool

VB6 - там не новый же интерфейс
VB6 остановили своё развитие в прошлом веке, и средств языка не хватает (приходится изобретать велосипеды)

Вы просто его готовить не умеете. Есть такой товарищ Кривоус Анатолий Анатольевич (The trick), он творит на нём чудеса!

[Stanislav]

Говорят что выбирают инструмент под задачу, но порой мы выбираем инструмент который больше всего знаем. не смотря на то что есть инструменты (языки программирования в нашем случаи) помогающие решить тот или иной вопрос гораздо проще / эффективнее и быстрее. писать парсер через плагин екселя (на VBA) это как раз тот случай когда автор знает (по крайне мере больше чем другие) язык VBA потому и пишет на нем. но мое имхо это какая то парнография поскольку есть замечательные библиотеки под python для парсинга которые уже работают с авторизацией, с проксей, многопоточностью и прочими необходимыми прелестями так зачем самому писать это? да еще и в виде плагина, все равно что писать калькулятор в виде плагина к екселю. И еще одно мое мнение, если бы автор хотел выпустить хороший продукт, провел бы анализ на каком языке ему будет это сделать проще / удобнее / выгоднее как по трудо часам так и по простоте масштабирования, изучил бы этот вопрос и написал на подходящем языке.

И еще момент, написать универсальный парсер можно но сложнее, даже можно написать плагин к броузеру. типа выделяем блоки пагинации, потом блоки с полезной информацией ну типа конструктора и запускаем парсинг. Но многие пишут парсер под конкретный сайт. потому что так проще. к примеру на питоне с библиотекой лично у меня есть парсер где 40-60 строчек кода, с 4 кажется уровнями вложенности пишется за 1-2 часа, и то больше времени уходит на анализ структуры сайта

[Alex11223]

Сообщение от Stanislav

Но многие пишут парсер под конкретный сайт

Так он не для программистов же видимо.

Ну и для простых сайтов/задач (например следить за списком товаров в нескольких магазинах) универсальность может иметь смысл.
Я для себя недавно делал подобное: http://www.programmersforum.ru/showthread.php?t=318452

[Stanislav]

Да но его настройку тоже нужно выполнить, судя по сайту автора, там есть и инструкции и даже видео как это сделать. в своем варианте я тоже затрнул универсальный вариант. пишется расширение под броузер, и выделяются нужные блоки (как блокировщик рекламы, может знаете.. выделяете блок и получает код элемента) во-первых такая настройка будет на мой взгляд куда прозрачнее и проще. и второе подобный конструктор будет содержать куда меньше чем 26 тыс строк кода. чем больше кода тем сложнее его поддерживать, и тем больше там ошибок

[EducatedFool]

Сообщение от Stanislav

есть замечательные библиотеки под python для парсинга которые уже работают с авторизацией, с проксей, многопоточностью и прочими необходимыми прелестями так зачем самому писать это?

Спасибо за совет
Это очень поможет, конечно же. А то я устал это всё реализовывать (ибо в VB6 нифига нет, тот же JSON распарсить - полдня код искать в инете, и полдня дорабатывать надо. А многопоточность - это вообще изобретать пришлось с нуля, ибо в интернетах нет наработок по этой теме)

Сообщение от Stanislav

так зачем самому писать это?

Писал на чем умел
Я ж не бизнес-идею реализовывал на тот момент, - просто работаю с Excel, многие просили что-то спарсить.
Вот, за 4 года, с нуля, и родилось это решение (постоянно обрастая новым функционалом)
А сейчас уже думаю о расширении этого направления (хотя, 90% пользователей более чем довольны и имеющимся решением, так что пока продвигаю нынешний VBA плагин)

Сообщение от Alex11223

Я для себя недавно делал подобное

Интересная штука
Посоветовал знакомым сеошникам, они уже пошли изучать

Сообщение от Stanislav

пишется расширение под броузер, и выделяются нужные блоки

Не, такое не пойдет
видел подобный проект
У расширений для браузеров, наверняка, много ограничений, - например, сомневаюсь, что получится работать с файловой системой компа (а без этого сложно)

Сообщение от Ottava

Так это ваш VBA-парсер я баню по Юзерагенту '"Microsoft Office Excel" ?

Не-а, мой если и представляется, то только браузером.

Сообщение от Ottava

Другое делать смысла нет, оно уже есть на рынке.

Да можно что угодно делать, в плане функционала
Все зависит от того, как продвигать, насколько это с виду все будет удобно пользователю, и какая ценовая политика

[Stanislav]

Не, такое не пойдет
видел подобный проект
У расширений для браузеров, наверняка, много ограничений, - например, сомневаюсь, что получится работать с файловой системой компа (а без этого сложно)

назовите хоть один ресурс парсинга с конструктором пожалуйста. касательно расширений доступ к ФС возможен все зависит от манифестов. во-вторых зачем вам простите доступ к ФС? если задача расширения заключается только в выделение необходимых блоков? сам парсер (когда я писал выше) предполагал что разработка будет под вебом. я хотел сделать подобный конструктор только руки не доходят. хотя наработки уже имеются. и по расширению и по самому парсеру.

Писал на чем умел
Я ж не бизнес-идею реализовывал на тот момент, - просто работаю с Excel, многие просили что-то спарсить.
Вот, за 4 года, с нуля, и родилось это решение (постоянно обрастая новым функционалом)
А сейчас уже думаю о расширении этого направления (хотя, 90% пользователей более чем довольны и имеющимся решением, так что пока продвигаю нынешний VBA плагин)

о чем я писал выше, лучше было потратить время на новый язык (на это бы ушло меньше поверьте мне питон достаточно простой) и сэкономили бы много время на поиски и реализации на VB, на будущее так и поступайте мой вам совет.

[Ottava]

Сообщение от EducatedFool

Не, такое не пойдет
видел подобный проект
У расширений для браузеров, наверняка, много ограничений, - например, сомневаюсь, что получится работать с файловой системой компа (а без этого сложно)

Возьмите стандартный браузер и управляйте им из программы, я на C++ делал такое как-то давно.
Дело в том, что браузеры поддерживают яваскрипт, заголовки Content Security Policy и прочие вещи, без поддержки которых ваш парсер быстро вычислят и забанят.

[Alex11223]

Сообщение от Ottava

я на C++ делал такое как-то давно.

А чего не на Ассемблере сразу?
Если уж браузер, то есть же Selenium.

Сообщение от Ottava

без поддержки которых ваш парсер быстро вычислят и забанят.

большинству сайтов пофиг.

[Stanislav]

Сообщение от Ottava

Возьмите стандартный браузер и управляйте им из программы, я на C++ делал такое как-то давно.
Дело в том, что браузеры поддерживают яваскрипт, заголовки Content Security Policy и прочие вещи, без поддержки которых ваш парсер быстро вычислят и забанят.

если не понимаете темы, лучше не писать ничего. если на сайте есть защита (частые обращения с одного IP, а есть системы анализирующие поведение юзера и т.д) то используйте прокси листы.

без поддержки которых

сможете определить как я открыл страницу парсером или через броузер м?

* Парсеры - зло, поэтому у меня все хостинги заблокированы в firewall.

прокси-листы? нет не слышал, все эти потуги бесполезны

[Человек_Борща]

Всё упирается в то, как именно используется ваше текущее решение.
Даже в сферическом вакууме результат выглядит так:

У вас есть бэкграунд, где скопилась куча универсального кода, которым можно обрабатывать массив данных, фильтры, преобразователи, телепорты в другие программы/форматы.\порты и проч.
И все это налеплено как ПЕРЕД отправкой запроса, так и после получения данных,
где данные пилятся, анализируются и выдаются в каком-либо виде, куда-либо.

И нет, клиент не может пнуть пару кнопок и получить результат, потому что тривиальная подгонка макета готовых решений под конкретный проект, для клиента что-то из категории "Нам нужен ещё один программист, для работы с программой от текущего программиста." Ну как с 1С короче.....

И программное решение приближённое к пользовательскому таки есть, и уже довольно давно. Называется xStarter, это планировщик задач, позволяет делать очень многое, но он очень и очень топорно расширяется (можно свои модули писать), да и автор как-то не шевелится с разработкой уже приличное время, что немного печально. Возможно есть альтернативы.

Туда же всякие конструкторы HiAsm, которым при помощи схем(!) можно даже веб-проекты клепать, не особо вдаваясь в знание программирования.