парсинг Python

[clav9nski]

Привет всем, столкнулся с проблемой, понадобились данные с сайта, вручную очень долго скачивать файлы, попробовал парсить, но выводит ошибку и не могу со станции скачать файл, может кто нибудь подскажет? Или как то иначе код построить, буду очень признателен

import urllib.request

from bs4 import BeautifulSoup


def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()

def parse(html):
    soup = BeautifulSoup(html)
    table = soup.find("table")          #"select",onchange="getRegion()")
    rows = table.find_all("td")
    
    projects = []
    for row in rows:

        cols = row.find_all('td')

        projects.append({
            'title': cols[0].a.text
            })
    
    print(row)
    

def main():
    parse(get_html('http://weather.uwyo.edu/upperair/europe.html'))



if __name__=='__main__':
    main()

конечная цель, чтоб получить информацию с сайта/данные за весь год(за каждый месяц и день)

[lux16]

Сообщение от clav9nski

Привет всем, столкнулся с проблемой, понадобились данные с сайта, вручную очень долго скачивать файлы, попробовал парсить, но выводит ошибку и не могу со станции скачать файл, может кто нибудь подскажет? Или как то иначе код построить, буду очень признателен

import urllib.request

from bs4 import BeautifulSoup


def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()

def parse(html):
    soup = BeautifulSoup(html)
    table = soup.find("table")          #"select",onchange="getRegion()")
    rows = table.find_all("td")
    
    projects = []
    for row in rows:

        cols = row.find_all('td')

        projects.append({
            'title': cols[0].a.text
            })
    
    print(row)
    

def main():
    parse(get_html('http://weather.uwyo.edu/upperair/europe.html'))



if __name__=='__main__':
    main()

конечная цель, чтоб получить информацию с сайта/данные за весь год(за каждый месяц и день)

Так то для начала надо было предоставить то, что тебе отдает консоль, а потом только спрашивать

[clav9nski]

ошибки исправил, но не могу понять как мне извлечь файл/данные с сайта

import urllib.request

from bs4 import BeautifulSoup  


def get_html(url):
    response = urllib.request.urlopen(url).read()
    return response

def parse(html):
    soup = BeautifulSoup(html,'html.parser')
    table = soup.find("body")
    rows = table.find_all("pre")
    
    projects = []
    for row in rows:
        cols = row.find_all('pre')

        #projects.append({
        #    'title': cols[0].a.text
        #    })
    
    print(rows)
    
def main():
    parse(get_html('http://weather.uwyo.edu/cgi-bin/sounding?region=europe&TYPE=TEXT%3ALIST&YEAR=2018&MONTH=01&FROM=3000&TO=3000&STNM=26063')) # or http://weather.uwyo.edu/upperair/europe.html   
    


if __name__=='__main__':
    main()

[nick-one]

После того как получил содержимое тега pre, html закончился.

Дальше разбиваешь содержимое на строки через split('\n'), а полученные строки разбиваешь по пробелам через split(), в полученном списке(из строки) доступ к данным по индексам, если нужны числа, тогда float('123.4').

Как-то так.