用Python爬取B站、腾讯视频、爱奇艺和芒果TV视频弹幕
csdh11 2024-12-23 09:26 2 浏览
众所周知,弹幕,即在网络上观看视频时弹出的评论性字幕。不知道大家看视频的时候会不会点开弹幕,于我而言,弹幕是视频内容的良好补充,是一个组织良好的评论序列。通过分析弹幕,我们可以快速洞察广大观众对于视频的看法。
阿喵通过一个关于《八佰》的视频弹幕数据,绘制了如下词云图,感觉效果还是可以的。
点击并拖拽以移动
这里多说一句,小编是一名python开发工程师,这里有我自己整理的一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。
海量的弹幕数据不仅可以绘制此类词云图,还可以调用百度AI进行情感分析。那么,我们该如何获取弹幕数据呢?本文运用Python爬取B站视频、腾讯视频、芒果TV和爱奇艺视频等弹幕,让你轻松获取主流视频网站弹幕数据。
一、B站视频弹幕
1.网页分析
本文以爬取up主硬核的半佛仙人发布的《你知道奶茶加盟到底有多坑人吗?》视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。
点击并拖拽以移动
简单分析url参数,很显然,date参数表示发送弹幕的时间,其他参数均无变化。因此,只需要改变date参数,然后通过beautifulsoup解析到弹幕数据即可。
2.爬虫实战
import requests #请求网页数据
from bs4 import BeautifulSoup #美味汤解析数据
import pandas as pd
import time
from tqdm import trange #获取爬取速度
def get_bilibili_url (start, end) :
url_list = []
date_list = [i for i in pd.date_range(start, end).strftime( '%Y-%m-%d' )]
for date in date_list:
url = f"api.bilibili.com/x/v2/dm/his… {date} "
url_list.append(url)
return url_list
def get_bilibili_danmu (url_list) :
headers = {
"user-agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36" ,
"cookie" : "你自己的" #Headers中copy即可
}
file = open( "bilibili_danmu.txt" , 'w' )
for i in trange(len(url_list)):
url = url_list[i]
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text)
data = soup.find_all( "d" )
danmu = [data[i].text for i in range(len(data))]
for items in danmu:
file.write(items)
file.write( "\n" )
time.sleep( 3 )
file.close()
if name == "main" :
start = '9/24/2020' #设置爬取弹幕的起始日
end = '9/26/2020' #设置爬取弹幕的终止日
url_list = get_bilibili_url(start, end)
get_bilibili_danmu(url_list)
print(
"弹幕爬取完成"
)
3.数据预览
点击并拖拽以移动
?
二、腾讯视频弹幕
1.网页分析
本文以爬取《脱口秀大会 第3季》最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。
点击并拖拽以移动
通过删减各参数,发现仅有timestamp参数的变化会影响弹幕数据的爬取,且timestamp参数是首项为15,公差为30的等差数列。可以大胆猜测腾讯视频每30秒更新一页弹幕数据,该视频长度为12399秒。而数据格式为标准的json格式,因此json.loads直接解析数据即可。
2.爬虫实战
import requests
import json
import time
import pandas as pd
df = pd.DataFrame()
for page in range( 15 , 12399 , 30 ):
headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' }
url = 'mfm.video.qq.com/danmu?otype… .format(page)
print( "正在提取第" + str(page) + "页" )
html = requests.get(url,headers = headers)
bs = json.loads(html.text,strict = False ) #strict参数解决部分内容json格式解析报错
time.sleep( 1 )
#遍历获取目标字段
for i in bs[ 'comments' ]:
content = i[ 'content' ] #弹幕
upcount = i[ 'upcount' ] #点赞数
user_degree =i[ 'uservip_degree' ] #会员等级
timepoint = i[ 'timepoint' ] #发布时间
comment_id = i[ 'commentid' ] #弹幕id
cache = pd.DataFrame({ '弹幕' :[content], '会员等级' :[user_degree],
'发布时间' :[timepoint], '弹幕点赞' :[upcount], '弹幕id' :[comment_id]})
df = pd.concat([df,cache])
df.to_csv( 'tengxun_danmu.csv' ,encoding = 'utf-8' )
print(df.shape)
3.数据预览
点击并拖拽以移动
三、芒果TV弹幕
1.网页分析
本文以爬取《乘风破浪的姐姐》最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。
点击并拖拽以移动
?
通过分析参数,我们可以发现,芒果TV会生成首项为0,公差为1的等差数列json弹幕文件,每个json文件存储前一分钟内所有的弹幕数据。弹幕数据存放格式为json,数据解析较为简单。
2.爬虫实战
import requests
import json
import pandas as pd
def get_mangguo_danmu (num1, num2, page) :
try :
url = 'bullet-ws.hitv.com/bullet/2020…
print( "正在爬取第" + str(page) + "页" )
danmuurl = url.format(num1, num2, page)
res = requests.get(danmuurl)
res.encoding = 'utf-8'
#print(res.text)
data = json.loads(res.text)
except :
print( "无法连接" )
details = []
for i in range(len(data[ 'data' ][ 'items' ])): # 弹幕数据在json文件'data'的'items'中
result = {}
result[ 'stype' ] = num2 # 通过stype可识别期数
result[ 'id' ] = data[ 'data' ][ 'items' ][i][ 'id' ] # 获取id
try : # 尝试获取uname
result[ 'uname' ] = data[ 'data' ][ 'items' ][i][ 'uname' ]
except :
result[ 'uname' ] = ''
result[ 'content' ] = data[ 'data' ][ 'items' ][i][ 'content' ] # 获取弹幕内容
result[ 'time' ] = data[ 'data' ][ 'items' ][i][ 'time' ] # 获取弹幕发布时间
try : # 尝试获取弹幕点赞数
result[ 'v2_up_count' ] = data[ 'data' ][ 'items' ][i][ 'v2_up_count' ]
except :
result[ 'v2_up_count' ] = ''
details.append(result)
return details
#输入关键信息
def count_danmu () :
danmu_total = []
num1 = input( '第一个数字' )
num2 = input( '第二个数字' )
page = int(input( '输入总时长' ))
for i in range(page):
danmu_total.extend(get_mangguo_danmu(num1, num2, i))
return danmu_total
def main () :
df = pd.DataFrame(count_danmu())
df.to_csv( 'mangguo_danmu.csv' )
if name == 'main' :
main()
3.数据预览
点击并拖拽以移动
四、爱奇艺弹幕
1.网页分析
本文以爬取《乐队的夏天第2季》第13期上视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。
点击并拖拽以移动
?
分析弹幕真实url,我们发现,参数5981449914376200是视频tvid,参数62是tvid倒数4为的前两位,参数00是tvid的最后两位,.z前的参数1为视频总时长除以300秒向上取整。观察相邻两个弹幕文件包,可以看出爱奇艺每5分钟更新一次弹幕文件。
点击并拖拽以移动
?
由于直接爬取出来的弹幕文件存在乱码,需要进行二进制编码,方可得到最终的弹幕数据。
2.爬虫实战
import zlib
import requests
1.爬取xml文件
def download_xml (url) :
bulletold = requests.get(url).content # 二进制内容
return zipdecode(bulletold)
def zipdecode (bulletold) :
'对zip压缩的二进制内容解码成文本'
decode = zlib.decompress(bytearray(bulletold), 15 + 32 ).decode( 'utf-8' )
return decode
for x in range( 1 , 12 ):
x是从1到12,12怎么来的,这一集总共57分钟,爱奇艺每5分钟会加载新的弹幕,57除以5向上取整
url = 'cmts.iqiyi.com/bullet/62/0… + str(x) + '.z'
xml = download_xml(url)
把编码好的文件分别写入17个xml文件中(类似于txt文件),方便后边取数据
with open( './aiqiyi/iqiyi' + str(x) + '.xml' , 'a+' , encoding= 'utf-8' ) as f:
f.write(xml)
2.读取xml文件中的弹幕数据数据
from xml.dom.minidom import parse
import xml.dom.minidom
def xml_parse (file_name) :
DOMTree = xml.dom.minidom.parse(file_name)
collection = DOMTree.documentElement
在集合中获取所有entry数据
entrys = collection.getElementsByTagName( "entry" )
print(entrys)
result = []
for entry in entrys:
content = entry.getElementsByTagName( 'content' )[ 0 ]
print(content.childNodes[ 0 ].data)
i = content.childNodes[ 0 ].data
result.append(i)
return result
with open( "aiyiqi_danmu.txt" , mode= "w" , encoding= "utf-8" ) as f:
for x in range( 1 , 12 ):
l = xml_parse( "./aiqiyi/iqiyi" + str(x) + ".xml" )
for line in l:
f.write(line)
f.write(
"\n"
3.数据预览
点击并拖拽以移动
最后多说一句,小编是一名python开发工程师,这里有我自己整理的一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。
相关推荐
- 如何开发视频会议App? 视频会议 开发
-
过去两年多时间里,视频会议成为职场工作乃至社会常态,在各类场景中得到广泛应用。例如企业会议、培训赋能、远程咨询、产品发布、远程面试等。本案例中的视频会议app来自开发者实战,采用YonBuilder移...
- GB28181学习笔记6 解析invite命令
-
一、信令流程1.实时信令流程点播流程:上级平台向下级发送INVITE请求,请求实时视频下级平台回复200OK上级平台回复ACK确认关闭视频,上级向下级平台发送BYE请求,请求关闭视频下级平台回复20...
- 音视频基础(网络传输): RTMP封包 mp4封装是什么意思
-
RTMP概念与HTTP(超文本传输协议)同样是一个基于TCP的RealTimeMessagingProtocol(实时消息传输协议)。由AdobeSystems公司为Flash...
- python爬取B站视频弹幕分析并制作词云
-
1.分析网页视频地址:www.bilibili.com/video/BV19E…本身博主同时也是一名up主,虽然已经断更好久了,但是不妨碍我爬取弹幕信息来分析呀。这次我选取的是自己唯一的爆款视...
- 实时音视频入门学习:开源工程WebRTC的技术原理和使用浅析
-
本文由ELab技术团队分享,原题“浅谈WebRTC技术原理与应用”,有修订和改动。1、基本介绍...
- 写了一个下载图片和视频的python小工具
-
?谁先掌握了AI,谁就掌握了未来的“权杖”。...
- 用Python爬取B站、腾讯视频、爱奇艺和芒果TV视频弹幕
-
众所周知,弹幕,即在网络上观看视频时弹出的评论性字幕。不知道大家看视频的时候会不会点开弹幕,于我而言,弹幕是视频内容的良好补充,是一个组织良好的评论序列。通过分析弹幕,我们可以快速洞察广大观众对于视频...
- 「视频参数信息检测」如何用代码实现Mediainfo的视频检测功能
-
说明:mediainfo是一款专业的视频参数信息检测工具,软件能够检测视频文件的格式、画面比例、码率、音频流、声道等一系列视频参数信息。若使用代码检测更灵活,扩展性更强,本文介绍使用python+py...
- Python爬虫大佬的万字长文总结,requests与selenium操作合集
-
requests模块前言:通常我们利用Python写一些WEB程序、webAPI部署在服务端,让客户端request,我们作为服务器端response数据;但也可以反主为客利用Python的reque...
- RTC业务中的视频编解码引擎构建 视频编解码简介
-
文/何鸣...
- 深入剖析ffplay.c(14) 深入剖析案例,促进以案为鉴
-
#ifCONFIG_AVFILTERstaticintconfigure_filtergraph(AVFilterGraph*graph,constchar*filtergraph,...
- 一篇文章教会你利用Python网络爬虫抓取百度贴吧评论区图片和视频
-
【一、项目背景】百度贴吧是全球最大的中文交流平台,你是否跟我一样,有时候看到评论区的图片想下载呢?或者看到一段视频想进行下载呢?今天,小编带大家通过搜索关键字来获取评论区的图片和视频。【二、项目目...
- 程序员用 Python 爬取抖音高颜值美女
-
图书+视频+源代码+答疑群,一本书带你入Python作者|星安果本文经授权转载自AirPython(ID:AirPython)目标场景相信大家平时刷抖音短视频的时候,看到颜值高的小姐姐,都有...
- 一周热门
-
-
Boston Dynamics Founder to Attend the 2024 T-EDGE Conference
-
IDC机房服务器托管可提供的服务
-
详解PostgreSQL 如何获取当前日期时间
-
新版腾讯QQ更新Windows 9.9.7、Mac 6.9.25、Linux 3.2.5版本
-
一文看懂mysql时间函数now()、current_timestamp() 和sysdate()
-
流星蝴蝶剑:76邵氏精华版,强化了流星,消失了蝴蝶
-
PhotoShop通道
-
查看 CAD文件,电脑上又没装AutoCAD?这款CAD快速看图工具能帮你
-
WildBit Viewer 6.13 快速的图像查看器,具有幻灯片播放和编辑功能
-
光与灯具的专业术语 你知多少?
-
- 最近发表
- 标签列表
-
- serv-u 破解版 (19)
- huaweiupdateextractor (27)
- thinkphp6下载 (25)
- mysql 时间索引 (31)
- mydisktest_v298 (34)
- sql 日期比较 (26)
- document.appendchild (35)
- 头像打包下载 (61)
- oppoa5专用解锁工具包 (23)
- acmecadconverter_8.52绿色版 (39)
- oracle timestamp比较大小 (28)
- f12019破解 (20)
- np++ (18)
- 魔兽模型 (18)
- java面试宝典2019pdf (17)
- unity shader入门精要pdf (22)
- word文档批量处理大师破解版 (36)
- pk10牛牛 (22)
- server2016安装密钥 (33)
- mysql 昨天的日期 (37)
- 加密与解密第四版pdf (30)
- pcm文件下载 (23)
- jemeter官网 (31)
- iteye (18)
- parsevideo (33)