Парсинг youtube - получить колличество лайков, дизлайков requests, beautifulsoup

[Another777]

Всем привет!

Столкнулся с проблемой при парсинге с ютуб.

Пытаюсь получить доступ к div:

import requests

from bs4 import BeautifulSoup

r = requests.get('https://www.youtube.com/watch?v=xxx')
soup = bs4.BeautifulSoup(r.text, "lxml")

container = soup.find_all('div')

for i in container:
	#print(i)
	print(i.get('id'))
	print(i.get('class'))
	print("-------------")


data = soup.find_all('div', {'id': 'content'})

#page-manager

for i in data:	
	
	if i.get('id') == "columns":
		print(i.get('id'))
	data2 = i.find_all('div')
	
	for j in data2:
		#pass
		if j.get('id') == "columns":
			print(j.get('id'))
		
		#print(j.get('class'))
		
		data3 = j.find_all('div')
		for n in data3:
			if n.get('id') == "columns":
				print(n.get('id'))

Код должен cпарсить div'ы с указанного url, но он выдаёт пустые списки.

Дело в том что BS видит код, таким как он был до выполнения всех скриптов,
и это может отличаться от html кода в средстве отладки браузера.

Надо сделать через requests/beautifulsoup, без google/youtube api.

Может кто нибудь сталкивался с чем-то подобным?

[Another777]

Кто сможет помочь, написать готовое решение? Надо спарсить количество лайков и дизлайков с помощью requests/beautifulsoup. Не используюя регулярные выражения. Отблагодарю финансово, в рамках разумного.

[Avazart]

Запросам большинство сайтов в наше время не спарсить, скорее всего нужен селениум.
Но нужно смотреть.

Связаться со мной Вы можете по следующим контактам:

• Icq: 673574224
• E-mail: avazart.fl@gmail.com
• Skype: присылайте свой ник на мой e-mail я Вас добавлю.

Огромная просьба сразу указывать:

1. Ccылку на данную тему, что бы сразу было понятно о чем речь, без лишних слов.
2. Предполагаемый предварительный бюджет или его рамки.
3. Максимальные сроки в которые нужно выполнить ваш заказ.(конкретная дата или кол-во дней)
4. Максимально полное и подробное техническое задание, если Вы его не указали или указали частично в вашей теме
   (желательно в виде MS Word документа с необходимыми иллюстрациями, схемами, скриншотами итп)

Работаю только с предоплатой! (от 30% до 100% от оговоренной суммы, в зависимости от типа задачи)
Предложения без указания "со старта" цены/сроков могут быть проигнорированы.
Для прикладных программ использую С++,C++Qt/Python(PyQt,Selenium)

[Larboss]

ТЗ, срок, бюджет: larbossfreelance@yandex.ru Метка: freelance. Указывайте ссылку на тему форума.