Парсинг сайта с помощью CURL

[betirsolt]

Доброго времени суток, пытаюсь сделать парсинг сайта по видео уроку, но даже по видео уроку у меня не получается, уже несколько дней мучаюсь, подскажите кто знает
вот файл index.php

PHP код:

$start = microtime(true);

set_include_path(get_include_path().PATH_SEPARATOR.'library/'); 
set_include_path(get_include_path().PATH_SEPARATOR.'phpQuery/'); 

require('config.php');

function __autoload( $className ) {require_once( "$className.php" );}


echo "<br>".date('H:i:s')." Начинаем парсинг ".URL;
 
//Вариант 2 - парсинг с помощью phpQuery из тела сайта http://spanch-bob.org/
$pageText =new Curl();
$page=$pageText->get_page(URL);
$cat_page = phpQuery::newDocument($page); 
$paginator = $cat_page->find('ul#menu4 > li');
foreach ($paginator as $link){
 
  $a=pq($link)->html();
  $a=pq($a)->attr('href');
  var_dump($a);
} 


вот файл config.php

PHP код:

<?php 
//настройки пподключения к сайту который парсим
define(URL,         'http://spanch-bob.org/'); //адрес сайта который будем парсить

//настройки подключения к БД чтобы записывать результаты парсинга
define(DB_HOST,     'localhost');
define(DB_DATABASE, 'testpars');
define(DB_USERNAME, 'root');
define(DB_PASSWORD, '');

//настройки скрипта
define(SAVEPATH,             'img/'); //папка сохранения картинок
define(BASEPATH,             'library'); //папка с php библиотеками
define(COOKIE_PATH,         realpath(dirname(__FILE__).'/../')); //куда сохранять куки для авторизации

error_reporting(E_ALL); 
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);
ini_set('max_execution_time', '18000000'); //время выполнения скрипта

function del_postfix($name) { // убираем постфикс к картинке
     
     $posv= strripos($name, '?');    
     if ($posv>0) { 
         $del = substr($name, $posv, strlen($name) );
         $name= substr_replace($name, '', $posv, strlen($name)) ;
     }
         
     return  $name;
}

делаю все это локально на Windows 7 и Open Server, при выполнении файла ndex.php мне выдает 14:10:36 Начинаем парсинг http://spanch-bob.org/
14:10:36 Готово! Процесс выполнялся 0.0610 сек., и все, а в видео уроках выдает целый список url-ов, скажите что я делаю не так, очень сложно мне это все дается так как не опыта, заранее благодарен, если нужно прикрепить еще какие нибудь файлы я готов это сделать, просто пока не знаю какие

[p51x]

Перед запросом страницы установите опцию для curl'a CURLOPT_FOLLOWLOCATION в true. Сайт же редирект шлет.

[pompiduskus]

Дак вроде все верно! А что именно нужно достать с этого сайта ?

Как я понял, он берет $paginator = $cat_page->find('ul#menu4 > li');

Нужно найтине елементы на странице которые нужны вам, и просписать ихсюда.
Как примерт:

PHP код:


$paginator = $cat_page->find('div#video > href'); 


PS: наверное я тупонул, не слабо так. Если не в тему, простите!

[betirsolt]

Сообщение от p51x

Перед запросом страницы установите опцию для curl'a CURLOPT_FOLLOWLOCATION в true. Сайт же редирект шлет.

Скажите пожалуйста в каком файле и как именно это нужно прописать, удивляет то что у чувака на видео все работает а у меня нет

[betirsolt]

Сообщение от pompiduskus

Дак вроде все верно! А что именно нужно достать с этого сайта ?

в этом видео уроке он парсит категории с этого сайта, мне бы любой другой сайт и пример рабочего парсинга, я делаю для опыта, учусь просто

[p51x]

Скажите пожалуйста в каком файле и как именно это нужно прописать

ну посмотрите, типа

$pageText->setopt(CURLOPT_FOLLOWLOCATION, true);

удивляет то что у чувака на видео все работает а у меня нет

Все в этом мире меняется, вот и сайт переехал на другой домен

в этом видео уроке он парсит категории с этого сайта, мне бы любой другой сайт

ну так возьмите новый адрес этого сайта и пробуйте

[betirsolt]

по видео он парсит сайт spanch-bob.org но щас он стал http://igroutka.net/, он сам редиректит, но я пробовал и так и так, результат не меняется, но там главное то что структура сайта поменялась, я так думаю. Но в любом случае, если убрать find('ul#menu4 > li'); и написать find('ul > li'); я же должен получить все тэги li с сайта?

[betirsolt]

Сообщение от p51x

ну посмотрите, типа

$pageText->setopt(CURLOPT_FOLLOWLOCATION, true);

Добавил в файл index.php

PHP код:

$pageText->setopt(CURLOPT_FOLLOWLOCATION, true); 


Теперь выдает ошибку
Fatal error: Call to a member function setopt() on a non-object in C:\OpenServer\domains\videoparsing. loc\index.php on line 7

[p51x]

$pageText->options['CURLOPT_FOLLOWLOCATION'] = true;

Но в любом случае, если убрать find('ul#menu4 > li'); и написать find('ul > li'); я же должен получить все тэги li с сайта?

Структура поменялась скорее всего, хотя я не знаю каким был раньше, но ссылок в меню4 теперь не видно.

[betirsolt]

Сообщение от p51x

$pageText->options['CURLOPT_FOLLOWLOCATION'] = true;

Структура поменялась скорее всего, хотя я не знаю каким был раньше, но ссылок в меню4 теперь не видно.

да структура точно поменялась, да это и не важно, мне бы хоть что нибудь получить с этого или другого сайта чтобы научиться работать таким методом через Curl