|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
|
Опции темы | Поиск в этой теме |
08.09.2015, 13:44 | #21 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Причем тут ботнет?
Наверно хочет делать какую-нибудь фигню на каком-то сайте, с разных IP. Например, регистрация кучи аккаунтов, спам, накрутка голосов в конкурсе или что-нибудь подобное. Он еще капчи недавно распознавал.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. |
09.09.2015, 12:05 | #22 | |
Форумчанин
Регистрация: 13.08.2015
Сообщений: 193
|
Цитата:
ИЕ не годится, там вручную меняешь в настройках, сразу меняется для всего компа, в других браузерах тот же самый прокси. Если мы меняем в файерфоксе то меняется только в файерфоксе, наверно так же и в рдугих браузерах только в них будет меняться. Тут нужно писать парсер коснольный на JavaScript используя node.js или ,браузер Phantomjs. потом boost::thread создать столько потоков сколько комп вытянет, а в каждом потоке создавать процесс который будет запускать консольный парсер со своим прокси, прокси забанили поток берет и меняет прокси на другой. ИЕ для эмитации действия пользователя годится, для многопоточных программ проще будет писать консольные пасера. В общем нормальные парсера пишутся на node.js, обычные консольные парсера на JavaScript ))) PhantomJs Это уже консольный браузер. Так можно и сервер завалить если мощный комп, 100 потоков и более, каждый раз если будут посылать запросы которые будут сервер нагружать сильно, заставят его что то вычислять, если не завалит то нагрузит его хорошо. Конечно если загружать с сервера кешированую страницу, то ему ничего не будет, нада проверить ляжет или нет какой то сервер бесплатный типо хостингер, ради интереса Уже на Phantomjs простенький парсер написал, он загружает страницу, делает скрин капчи, дальше нужно подождать пока капчу разберет процесс и передаст в консоль, парсер заполнит форму и отправит и все. Это я в консоле вручную ввожу капчу, в консоле работает норм. Нада создать процесс, пайп и протестить пока в одном потоке, а потом через boost попробовать в несколько потоков. Попробую сделать, я уже забыл как в boost потоки создавать, давно делал. Пока попробовать прототип создать, а там если получится работающий, уже как нужно сделать. Много делать. Последний раз редактировалось ninja2; 09.09.2015 в 12:11. |
|
09.09.2015, 12:51 | #23 | ||
Старожил
Регистрация: 28.01.2009
Сообщений: 21,000
|
Цитата:
нормальные парсеры лучше не кроссить между средами. все в себе, и работа с прокси и парсинг. Цитата:
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел. Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите. |
||
09.09.2015, 13:12 | #24 | ||
Форумчанин
Регистрация: 13.08.2015
Сообщений: 193
|
Цитата:
Цитата:
|
||
09.09.2015, 13:34 | #25 | ||
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Цитата:
Цитата:
https://ru.wikipedia.org/wiki/%D0%A1...BB%D0%B8%D0%B7 Скорее всего например scraper или crawler/spider более подходящие слова для того, о чем вы говорите.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. Последний раз редактировалось Alex11223; 09.09.2015 в 13:42. |
||
09.09.2015, 14:39 | #26 | |
Старожил
Регистрация: 28.01.2009
Сообщений: 21,000
|
Цитата:
а надо ли вам JS? может все можно проще сделать? Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел. Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите. |
|
12.09.2015, 21:14 | #27 |
Форумчанин
Регистрация: 13.08.2015
Сообщений: 193
|
Нада, я JS хочу норм подучить, на фрилансе полно заказов по JavaScript и парсеры норм можно писать, получше чем на php. Плюс на JavaScript можно писать плагины для браузеров. JavaScript популярный. Я его чуть чуть знаю, я на нем делал сайт казино аналог csgo для стим, там розыгрышь вещей. Там то учить нечего, брать примеры кода и разбирать, все равно учебник не поможет там же библиотеки хз. какие используются их нужно с гитхаба скачивать и устанавливать и там все читать как их использовать. Не JavaScript полюбом хочу выучить на норм уровне.
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
XE5 webbrowser прокси с авторизацией | albionseo | Компоненты Delphi | 2 | 02.01.2015 11:34 |
Delphi Webbrowser прокси с авторизацией | nikita321 | Общие вопросы Delphi | 0 | 13.01.2013 17:33 |
Webbrowser анонимные прокси | Diman007858 | Общие вопросы Delphi | 0 | 31.05.2012 05:11 |
Webbrowser анонимные прокси | Diman007858 | Работа с сетью в Delphi | 0 | 31.05.2012 05:11 |
смена прокси embedded (webBrowser) | Romer9999 | Работа с сетью в Delphi | 1 | 30.05.2010 12:22 |