Помогите с парсером

[igrok_by]

День добрый пытаюсь написать парсер для сайта, но застрял на том что на первой странице у меня ссылки на последующие я собираю из в массив и нотом в цикле пытаюсь до них достучаться, но увы таблицы которая мне надо там нет. Открываю ссылку в браузере все работает. вчем дело???

PHP код:

<?php
    include_once('lib/curl_query.php');
    
    $html = curl_get('http://www.sportstats.com/soccer/matches/');
    $html1 = substr($html,strpos($html,'<table id="todayMatches_0">'),strpos($html,'</table>'));
    
    $Array = explode( '</tbody>',$html1);
    $Array[0]= substr($Array[0],strpos($Array[0],'<tr class="table-league-header">'));
    echo'<br>';
    for ($q=1; $q<count($Array)-1; $q++){
        $Igra = explode( '</tr>',$Array[$q]); 
        unset ($Igra[count($Igra)-1]);
        $Igra[0]= substr($Igra[0],0,strpos($Igra[0],'<th>'));
        echo (strip_tags($Igra[0]));
        echo'<br>';
        for ($w=1; $w<count($Igra); $w++){
            $Temp = substr($Igra[$w],strpos($Igra[$w],'<td class="table-home">'));
            $Hom = substr($Temp,0,strpos($Igra[$w],'</td>')); 
            $URL = substr($Hom,strpos($Hom,'href="')+6);
            $URL = substr($URL,0,strpos($URL,'/"'));
            $URL = 'http://www.sportstats.com'.$URL.'/#results';//Это первая ссылка

            $Temp = substr($Igra[$w],strpos($Igra[$w],'<td class="table-away">'));
            $Away = substr($Temp,0,strpos($Igra[$w],'</td>'));
            $Hom = strip_tags($Hom);
            echo "Дома<br>$Hom<br>$URL<br>";
            $URL = substr($Away,strpos($Away,'href="')+6);
            $URL = substr($URL,0,strpos($URL,'/"'));
            $URL = 'http://www.sportstats.com'.$URL.'/#results';//Это вторая ссылка
            $Away = strip_tags($Away);
            echo "На выезде<br>$Away<br>$URL<br>";
        }
        echo'<br>';
    }
?>

Может кто поможет разобраться. Пробовал по примерам через дом загнать но там чтото ваще темный лес.

[pompiduskus]

Я не могу понять что тебе нужно ?

Парсить сайт по ссылке допустим http://site.com/

А если парсер находит втутренние ссылки типа /pageA или /pageB то их тоже парсить ?

Получается такой рекурсивный парсинг, это цель ?

Попробуй замени вот эту строку

PHP код:

$html = curl_get('http://www.sportstats.com/soccer/matches/'); 


Вот на эту и посмотри есть ли разница!

PHP код:

$html = file_get_contents('http://www.sportstats.com/soccer/matches/'); 


У меня так работает.

Если и у тебя отработает как нужно то вот это подключение файла можно смело убирать если ты его там больше не будешь использовать!

PHP код:

include_once('lib/curl_query.php'); 


[igrok_by]

Сообщение от pompiduskus

Я не могу понять что тебе нужно ?

Я хочу получив ссылку на команду, загрузить отдельно её статистику.

 <a href="/soccer/argentina/detail/almagro-002DshSN/">Almagro</a>

Вот тег команды. Статистика находится по ссылке http://www.sportstats.com + тег + #results
Но при загрузке

PHP код:

$s=file_get_contents('http://www.sportstats.com/soccer/argentina/detail/almagro-002DshSN/#results') 


В $s нет сформированной таблицы под id = #resultspos_49_0 , но в браузере если просто загрузиться по ссылке все есть.

Сообщение от pompiduskus

Попробуй замени вот эту строку

PHP код:

$html = curl_get('http://www.sportstats.com/soccer/matches/'); 


Вот на эту и посмотри есть ли разница!

PHP код:

$html = file_get_contents('http://www.sportstats.com/soccer/matches/'); 


Тут разницы нет просто читал чтобы мол не забанили IP лучше там браузером представляться.

[pompiduskus]

Я просто не разбираюсь в спорте, ты вот про эту таблицу ?

[igrok_by]

Сообщение от pompiduskus

Я просто не разбираюсь в спорте, ты вот про эту таблицу ?

Да да её радимую

[pompiduskus]

Вот зайдите вот сюда. и посмотри выводит ли то что вам нужно.

http://pompiduskus2.0fees.us/imgs/test.php

[pompiduskus]

Аааа, я наверное понял. Нету самих цифр в колонках [ 1, X, 2] ?

Я глянул, скорее всего эти данные подгружаются Ajax-ом.

[igrok_by]

Сообщение от pompiduskus

Вот зайдите вот сюда. и посмотри выводит ли то что вам нужно.

http://pompiduskus2.0fees.us/imgs/test.php

Вот вопрос как загрузить таблицу то.

Сообщение от pompiduskus

Аааа, я наверное понял. Нету самих цифр в колонках [ 1, X, 2] ?

Я глянул, скорее всего эти данные подгружаются Ajax-ом.

Можно как то загрузить Страницу с отработаными скриптами и тд???

[pompiduskus]

Скорее всегоконечно можно, нужно отслеживать запросы ajaxa и смотреть какие параметры куда передаюся. Я так по быстрому глянул.

Сходу не выдает результаты, так как не хватило параметров каких-то.


Другими словами, если правильно передать параметры в запросе то он выдаст все что нужно, возможно даже чистым JSONом.

Попробуйте отследить что от куда идет.



Вот как пример, посмотри что он выдал. Это вроже то что нужно
http://www.sportstats.com/ajax-table...yZDE3IjowfQ==/



или вот этот

http://www.sportstats.com/ajax-table...sIjJkMTciOjB9/

[igrok_by]

Сообщение от pompiduskus

http://www.sportstats.com/ajax-table...sIjJkMTciOjB9/

Во со вторым вариантом можно и поработать. Можешь пояснить его???