• 售前

  • 售后

热门帖子
入门百科

python基于selenium爬取斗鱼弹幕

[复制链接]
哈哈小强呀 显示全部楼层 发表于 2021-10-25 19:50:34 |阅读模式 打印 上一主题 下一主题
针对弹幕的爬取我们如果只需要获取看到的网页内里的而数据,利用selenium就能实现,对于直播平台来说,通常有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼品等等,这需要客户端向弹幕服务器发送登录哀求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片
代码如下:
  1. import time
  2. from selenium import webdriver
  3. chrome_options = webdriver.ChromeOptions()
  4. # 使用headless无界面浏览器模式
  5. # chrome_options.add_argument('--headless')
  6. # chrome_options.add_argument('--disable-gpu')
  7. prefs = {"profile.managed_default_content_settings.images": 2}
  8. chrome_options.add_experimental_option("prefs", prefs)
  9. browser = webdriver.Chrome(chrome_options=chrome_options)
  10. url = 'https://www.douyu.com/'
  11. def getDanmu(homeId):
  12.   homeHref = url+str(homeId)
  13.   browser.get(homeHref)
  14.   while 1:
  15.     time.sleep(2)
  16.     try:
  17.       for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
  18.         if len(i.text) > 0:
  19.           try:
  20.             print(i.text)
  21.           except:
  22.             pass
  23.           saveDanmu(i.text)
  24.         else:
  25.           continue
  26.     except:
  27.       time.sleep(2)
  28.       for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
  29.         if len(i.text) > 0:
  30.           try:
  31.             print(i.text)
  32.           except:
  33.             pass
  34.           saveDanmu(i.text)
  35.         else:
  36.           continue
  37. def saveDanmu(danmu):
  38.   with open('danmu.txt', 'a+', encoding='utf-8')as f:
  39.     f.write(danmu+'\n')
  40. if __name__ == '__main__':
  41.   num = input('请输入需要查询的房间号:')
  42.   getDanmu(num)
复制代码

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注草根技术分享别的相干文章!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作