Как скачать весь материал с сайта

[kakawkin]

Собственно интересует следующий сайт - http://line6.com/customtone/browse/podfarm/

Скачать нужно пресеты. На кнопке скачать ( стрелочка вниз ) висит вот такой код:

PHP код:

<a href="#" id="tone-112422" class="deliver_tone" download="">
        <span class="glyphicon glyphicon-download"></span>
    </a> 


Пробовал в адресной строке вводить:http://line6.com/customtone/browse/p...id=tone-112422 но ничего не происходит.

Мне бы узнать каким методом можно принять файл и сохзранить на диск что бы в цикле сохранить абсолютно весь материал с сайта

[Smitt&Wesson]

Качаем сайтмапу http://line6.com/sitemap.xml. Парсим и идём по всем урлам.

[kakawkin]

Сообщение от Smitt&Wesson

Качаем сайтмапу http://line6.com/sitemap.xml. Парсим и идём по всем урлам.

мне надо скачать пресеты с той странице что я скинул. Всего страниц там 600 с чем то. Причём тут сайтмап ?

[Smitt&Wesson]

Грузим сайтмапу. Выдёргиваем урлы. Закачиваем страницу. Парсим страницу. Выуживаем из страницы все ссылки и скачиваем всё, что на станице.
Есть другой способ. Лямзим пароль от сайта. Заходим по FTP и тырим всё, что там лежит.

[Человек_Борща]

залогинится на сайте для начала... без этого не скачаете ничего. Дальше изучайте HTML после авторизации.

[kakawkin]

Сообщение от Smitt&Wesson

Грузим сайтмапу. Выдёргиваем урлы. Закачиваем страницу. Парсим страницу. Выуживаем из страницы все ссылки и скачиваем всё, что на станице.
Есть другой способ. Лямзим пароль от сайта. Заходим по FTP и тырим всё, что там лежит.

А как скачать если код у кнопки

<a href="#" id="tone-112422" class="deliver_tone" download="">
        <span class="glyphicon glyphicon-download"></span>
    </a>

И я пробую вводить в адрес браузера: http://line6.com/customtone/browse/p...id=tone-112422 и закачка пресета не происходит

[WinCoder]

kakawkinБез авторизации ничего скачать нельзя. Соответственно в задачу ложится авторизация на сайте, куки, и т.д. и т.п. Далее парсим нужные страницы на предмет URL на скачку, качаем. Опять же с куками. В виду того, что файлов много, ещё бы не плохо в потоках качаться. А в виду того, что интернет, штука нестабильная, придётся ещё крутить докачку. В итоге задача вырастает в здоровенную программу.

А как скачать если код у кнопки

Это ссылка на класс, который видимо смотрит авторизацию.

[kakawkin]

Сообщение от WinCoder

kakawkinБез авторизации ничего скачать нельзя. Соответственно в задачу ложится авторизация на сайте, куки, и т.д. и т.п. Далее парсим нужные страницы на предмет URL на скачку, качаем. Опять же с куками. В виду того, что файлов много, ещё бы не плохо в потоках качаться. А в виду того, что интернет, штука нестабильная, придётся ещё крутить докачку. В итоге задача вырастает в здоровенную программу.

Ага в здоровую.
То что логиниться надо это в курсе и не сложно.
Ты сам смотрел страницу ? Нету там ничего на предмет URL и кнопка обрабатывается кодом java-scripts который отдельно в файле.
Как скачивается уже понял там ссылка в которую подставляется id-tone который на странице а не как не в каких то сайтмапах.
Ввиду того что файлов много и они весят 1,3кб мы просто скачиваем их в 20 потоках и всё будет нормально. И докачки ненадо ибо файлы имеют крошечный размер. Задача не вырастает в здоровенную программу.

Всем спасибо кто помог!

[WinCoder]

Зачем тему создавал? Непонятно.

[Человек_Борща]

Зачем тему создавал? Непонятно.

Да как обычно... идешь к начальнику с проблемой, перепробовав все варианты решения, открываешь дверь... и зависаешь. Нашел решение. Закрываешь дверь приходишь на свой комп и решаешь проблему...

Че приходил, сам не понял.