|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
|
Опции темы | Поиск в этой теме |
29.05.2018, 13:56 | #11 |
Участник клуба
Регистрация: 17.05.2011
Сообщений: 1,660
|
|
29.05.2018, 15:00 | #12 |
Квадрокоптерист
Участник клуба Подтвердите свой е-майл
Регистрация: 29.09.2007
Сообщений: 1,824
|
Говорят что выбирают инструмент под задачу, но порой мы выбираем инструмент который больше всего знаем. не смотря на то что есть инструменты (языки программирования в нашем случаи) помогающие решить тот или иной вопрос гораздо проще / эффективнее и быстрее. писать парсер через плагин екселя (на VBA) это как раз тот случай когда автор знает (по крайне мере больше чем другие) язык VBA потому и пишет на нем. но мое имхо это какая то парнография поскольку есть замечательные библиотеки под python для парсинга которые уже работают с авторизацией, с проксей, многопоточностью и прочими необходимыми прелестями так зачем самому писать это? да еще и в виде плагина, все равно что писать калькулятор в виде плагина к екселю. И еще одно мое мнение, если бы автор хотел выпустить хороший продукт, провел бы анализ на каком языке ему будет это сделать проще / удобнее / выгоднее как по трудо часам так и по простоте масштабирования, изучил бы этот вопрос и написал на подходящем языке.
И еще момент, написать универсальный парсер можно но сложнее, даже можно написать плагин к броузеру. типа выделяем блоки пагинации, потом блоки с полезной информацией ну типа конструктора и запускаем парсинг. Но многие пишут парсер под конкретный сайт. потому что так проще. к примеру на питоне с библиотекой лично у меня есть парсер где 40-60 строчек кода, с 4 кажется уровнями вложенности пишется за 1-2 часа, и то больше времени уходит на анализ структуры сайта
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
|
29.05.2018, 15:39 | #13 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Так он не для программистов же видимо.
Ну и для простых сайтов/задач (например следить за списком товаров в нескольких магазинах) универсальность может иметь смысл. Я для себя недавно делал подобное: http://www.programmersforum.ru/showthread.php?t=318452
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. Последний раз редактировалось Alex11223; 29.05.2018 в 15:44. |
29.05.2018, 16:07 | #14 |
Квадрокоптерист
Участник клуба Подтвердите свой е-майл
Регистрация: 29.09.2007
Сообщений: 1,824
|
Да но его настройку тоже нужно выполнить, судя по сайту автора, там есть и инструкции и даже видео как это сделать. в своем варианте я тоже затрнул универсальный вариант. пишется расширение под броузер, и выделяются нужные блоки (как блокировщик рекламы, может знаете.. выделяете блок и получает код элемента) во-первых такая настройка будет на мой взгляд куда прозрачнее и проще. и второе подобный конструктор будет содержать куда меньше чем 26 тыс строк кода. чем больше кода тем сложнее его поддерживать, и тем больше там ошибок
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
|
29.05.2018, 19:17 | #15 | ||||||
Программист VBA
СуперМодератор
Регистрация: 13.07.2008
Сообщений: 6,856
|
Цитата:
Это очень поможет, конечно же. А то я устал это всё реализовывать (ибо в VB6 нифига нет, тот же JSON распарсить - полдня код искать в инете, и полдня дорабатывать надо. А многопоточность - это вообще изобретать пришлось с нуля, ибо в интернетах нет наработок по этой теме) Цитата:
Я ж не бизнес-идею реализовывал на тот момент, - просто работаю с Excel, многие просили что-то спарсить. Вот, за 4 года, с нуля, и родилось это решение (постоянно обрастая новым функционалом) А сейчас уже думаю о расширении этого направления (хотя, 90% пользователей более чем довольны и имеющимся решением, так что пока продвигаю нынешний VBA плагин) Цитата:
Посоветовал знакомым сеошникам, они уже пошли изучать Цитата:
видел подобный проект У расширений для браузеров, наверняка, много ограничений, - например, сомневаюсь, что получится работать с файловой системой компа (а без этого сложно) Цитата:
Цитата:
Все зависит от того, как продвигать, насколько это с виду все будет удобно пользователю, и какая ценовая политика |
||||||
29.05.2018, 19:41 | #16 | ||
Квадрокоптерист
Участник клуба Подтвердите свой е-майл
Регистрация: 29.09.2007
Сообщений: 1,824
|
Цитата:
Цитата:
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
Последний раз редактировалось Stanislav; 29.05.2018 в 19:48. |
||
30.05.2018, 16:30 | #17 | ||
Форумчанин
Регистрация: 05.09.2017
Сообщений: 157
|
Цитата:
Дело в том, что браузеры поддерживают яваскрипт, заголовки Content Security Policy и прочие вещи, без поддержки которых ваш парсер быстро вычислят и забанят.
Безопасность с Content Security Policy
|
||
30.05.2018, 17:13 | #18 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
А чего не на Ассемблере сразу?
Если уж браузер, то есть же Selenium. большинству сайтов пофиг.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. |
30.05.2018, 19:29 | #19 | |||
Квадрокоптерист
Участник клуба Подтвердите свой е-майл
Регистрация: 29.09.2007
Сообщений: 1,824
|
Цитата:
Цитата:
Цитата:
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
Последний раз редактировалось Stanislav; 31.05.2018 в 00:06. |
|||
31.05.2018, 01:47 | #20 |
Старожил
Регистрация: 30.12.2009
Сообщений: 11,426
|
Всё упирается в то, как именно используется ваше текущее решение.
Даже в сферическом вакууме результат выглядит так: У вас есть бэкграунд, где скопилась куча универсального кода, которым можно обрабатывать массив данных, фильтры, преобразователи, телепорты в другие программы/форматы.\порты и проч. И все это налеплено как ПЕРЕД отправкой запроса, так и после получения данных, где данные пилятся, анализируются и выдаются в каком-либо виде, куда-либо. И нет, клиент не может пнуть пару кнопок и получить результат, потому что тривиальная подгонка макета готовых решений под конкретный проект, для клиента что-то из категории "Нам нужен ещё один программист, для работы с программой от текущего программиста." Ну как с 1С короче..... И программное решение приближённое к пользовательскому таки есть, и уже довольно давно. Называется xStarter, это планировщик задач, позволяет делать очень многое, но он очень и очень топорно расширяется (можно свои модули писать), да и автор как-то не шевелится с разработкой уже приличное время, что немного печально. Возможно есть альтернативы. Туда же всякие конструкторы HiAsm, которым при помощи схем(!) можно даже веб-проекты клепать, не особо вдаваясь в знание программирования. Последний раз редактировалось Человек_Борща; 31.05.2018 в 02:00. |
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Что для вас важнее. Сервис или люди, которые этот сервис делают? | Alar | Свободное общение | 4 | 23.03.2017 09:38 |
Нужна помощь - с помощью какой программы или программ лучше всего сделать игру ? ( такие как "что ? где? когда?" или "Самый умный" | EOTE | Помощь студентам | 10 | 09.12.2016 22:58 |
Прошу помощи: посоветуйте, что лучше начать изучать первым java или Python и что конкретно создается на каждом из языков | orionit | Помощь студентам | 4 | 14.05.2015 08:20 |
Парсинг или часть странички в webbrowser? Как лучше? | Fahman | Общие вопросы Delphi | 32 | 18.11.2013 15:59 |
Экономия памяти. Что лучше: метод класса или процедура с параметрами... или без разницы? | 3D Hunter | Общие вопросы Delphi | 7 | 26.12.2011 23:23 |