Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > C/C++ программирование > Visual C++
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 08.09.2015, 13:44   #21
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Причем тут ботнет?
Наверно хочет делать какую-нибудь фигню на каком-то сайте, с разных IP.
Например, регистрация кучи аккаунтов, спам, накрутка голосов в конкурсе или что-нибудь подобное.
Он еще капчи недавно распознавал.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 09.09.2015, 12:05   #22
ninja2
Форумчанин
 
Регистрация: 13.08.2015
Сообщений: 193
По умолчанию

Цитата:
Сообщение от Stilet Посмотреть сообщение
Нужно использовать способ, описанный мной по ссылке выше )
Тот, который ты так быстро отверг. А ведь в нем как раз описывается условия подбора проксика.
Не то не то, есть файл с прокси там несколько тысяч прокси, нужно создать как можно больше потоков, каждый поток посылает запросы со своего прокси пока его не забанят, потом меняет прокси.

ИЕ не годится, там вручную меняешь в настройках, сразу меняется для всего компа, в других браузерах тот же самый прокси. Если мы меняем в файерфоксе то меняется только в файерфоксе, наверно так же и в рдугих браузерах только в них будет меняться.

Тут нужно писать парсер коснольный на JavaScript используя node.js или ,браузер Phantomjs. потом boost::thread создать столько потоков сколько комп вытянет, а в каждом потоке создавать процесс который будет запускать консольный парсер со своим прокси, прокси забанили поток берет и меняет прокси на другой. ИЕ для эмитации действия пользователя годится, для многопоточных программ проще будет писать консольные пасера.

В общем нормальные парсера пишутся на node.js, обычные консольные парсера на JavaScript ))) PhantomJs Это уже консольный браузер.

Так можно и сервер завалить если мощный комп, 100 потоков и более, каждый раз если будут посылать запросы которые будут сервер нагружать сильно, заставят его что то вычислять, если не завалит то нагрузит его хорошо. Конечно если загружать с сервера кешированую страницу, то ему ничего не будет, нада проверить ляжет или нет какой то сервер бесплатный типо хостингер, ради интереса

Уже на Phantomjs простенький парсер написал, он загружает страницу, делает скрин капчи, дальше нужно подождать пока капчу разберет процесс и передаст в консоль, парсер заполнит форму и отправит и все. Это я в консоле вручную ввожу капчу, в консоле работает норм. Нада создать процесс, пайп и протестить пока в одном потоке, а потом через boost попробовать в несколько потоков. Попробую сделать, я уже забыл как в boost потоки создавать, давно делал. Пока попробовать прототип создать, а там если получится работающий, уже как нужно сделать.

Много делать.

Последний раз редактировалось ninja2; 09.09.2015 в 12:11.
ninja2 вне форума Ответить с цитированием
Старый 09.09.2015, 12:51   #23
Пепел Феникса
Старожил
 
Аватар для Пепел Феникса
 
Регистрация: 28.01.2009
Сообщений: 21,000
По умолчанию

Цитата:
В общем нормальные парсера пишутся на node.js, обычные консольные парсера на JavaScript ))) PhantomJs Это уже консольный браузер.
охренеть авторитетное заявление.

нормальные парсеры лучше не кроссить между средами.

все в себе, и работа с прокси и парсинг.
Цитата:
Так можно и сервер завалить если мощный комп, 100 потоков и более, каждый раз если будут посылать запросы которые будут сервер нагружать сильно, заставят его что то вычислять, если не завалит то нагрузит его хорошо. Конечно если загружать с сервера кешированую страницу, то ему ничего не будет, нада проверить ляжет или нет какой то сервер бесплатный типо хостингер, ради интереса
вы наивно думаете что все сто потоков у вас одновременно уйдут?
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел.
Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите.
Пепел Феникса вне форума Ответить с цитированием
Старый 09.09.2015, 13:12   #24
ninja2
Форумчанин
 
Регистрация: 13.08.2015
Сообщений: 193
По умолчанию

Цитата:
Сообщение от Пепел Феникса Посмотреть сообщение
охренеть авторитетное заявление.

нормальные парсеры лучше не кроссить между средами.
в С++ javaScript код не будет выполнятся, так что не кросить не получится , разве что какой то компонент искать готовый толко не WebBrowser.

Цитата:
вы наивно думаете что все сто потоков у вас одновременно уйдут?
Да. Быстро уйдут.
ninja2 вне форума Ответить с цитированием
Старый 09.09.2015, 13:34   #25
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
В общем нормальные парсера пишутся на node.js
Ога, а нормальные потоки создают только с помощью boost!

Цитата:
парсер
Почему все используют это слово не по назначению?
https://ru.wikipedia.org/wiki/%D0%A1...BB%D0%B8%D0%B7

Скорее всего например scraper или crawler/spider более подходящие слова для того, о чем вы говорите.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.

Последний раз редактировалось Alex11223; 09.09.2015 в 13:42.
Alex11223 вне форума Ответить с цитированием
Старый 09.09.2015, 14:39   #26
Пепел Феникса
Старожил
 
Аватар для Пепел Феникса
 
Регистрация: 28.01.2009
Сообщений: 21,000
По умолчанию

Цитата:
Да. Быстро уйдут.
даже если так, то 100 запросов это фигня.

а надо ли вам JS? может все можно проще сделать?
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел.
Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите.
Пепел Феникса вне форума Ответить с цитированием
Старый 12.09.2015, 21:14   #27
ninja2
Форумчанин
 
Регистрация: 13.08.2015
Сообщений: 193
По умолчанию

Цитата:
Сообщение от Пепел Феникса Посмотреть сообщение
а надо ли вам JS? может все можно проще сделать?
Нада, я JS хочу норм подучить, на фрилансе полно заказов по JavaScript и парсеры норм можно писать, получше чем на php. Плюс на JavaScript можно писать плагины для браузеров. JavaScript популярный. Я его чуть чуть знаю, я на нем делал сайт казино аналог csgo для стим, там розыгрышь вещей. Там то учить нечего, брать примеры кода и разбирать, все равно учебник не поможет там же библиотеки хз. какие используются их нужно с гитхаба скачивать и устанавливать и там все читать как их использовать. Не JavaScript полюбом хочу выучить на норм уровне.
ninja2 вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
XE5 webbrowser прокси с авторизацией albionseo Компоненты Delphi 2 02.01.2015 11:34
Delphi Webbrowser прокси с авторизацией nikita321 Общие вопросы Delphi 0 13.01.2013 17:33
Webbrowser анонимные прокси Diman007858 Общие вопросы Delphi 0 31.05.2012 05:11
Webbrowser анонимные прокси Diman007858 Работа с сетью в Delphi 0 31.05.2012 05:11
смена прокси embedded (webBrowser) Romer9999 Работа с сетью в Delphi 1 30.05.2010 12:22