|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
05.04.2016, 16:29 | #1 |
Пользователь
Регистрация: 30.09.2015
Сообщений: 74
|
Парсер пожалуйста помогите поправить
Привет !
есть парсер на пхп, вот код PHP код:
логика работы такая, при запуске скрипт рекурсивно переходит по ссылкам из файла link.txt парсит нужную мне инфу и записывает результат по концовке парсинга в текстовик result.txt но есть большая проблема, когда в текстовике link.txt более 50 ссылок через минуту после запуска в браузере всегда вылетает ошибка 504 Gateway Time-out nginx/1.1.19 я уже и php.ini правил увеличивая объем памяти до 5 гб и время выполнения скрипта в вместо 60 ставил 6000000 секунд. все ровно здыхает парсинг через минуту и ошибка 504 Gateway Time-out nginx/1.1.19 может кто подскажет как сделать чтобы парсер работал 50 секунд к примеру записывал все что спарсит в result.txt потом снова рестартился и продолжал с того места где последний раз была остановка, и такими порциями по 50 сек будет парсить, помогите пожалуйста внести изменения в мой парсер! |
17.04.2016, 12:57 | #3 |
Регистрация: 23.02.2016
Сообщений: 3
|
Лучше ajax`ом на php обработчик отправляеть запросы.
Таким способом можно контролировать состояние парсинга и осуществлять ожидания при недоступности ресурса. Можно еще для визуализации процесса поставить progressbar. Если нужно - могу сделать. Пишите: vetal2525@mail.ru Или Skype: proinfotech |
18.04.2016, 11:44 | #4 |
Форумчанин
Регистрация: 08.11.2010
Сообщений: 593
|
зачем крон, зачем ajax, используйте cli/fpm
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Помогите поправить программу пожалуйста | GrafVir | Фриланс | 4 | 05.06.2014 13:49 |
поправить код паскаля, пожалуйста | mishammm | Помощь студентам | 6 | 29.09.2013 13:43 |
Необходимо дописать и поправить парсер!!! | maks1985 | Фриланс | 4 | 31.05.2010 14:40 |
помогите поправить макрос | tem1112 | Microsoft Office Excel | 7 | 06.11.2009 21:25 |
помогите поправить! | koyot | Работа с сетью в Delphi | 4 | 13.02.2008 18:46 |