• 售前

  • 售后

热门帖子
入门百科

python数据抓取3种方法总结

[复制链接]
小雨粑粑2012 显示全部楼层 发表于 2021-10-25 19:16:49 |阅读模式 打印 上一主题 下一主题
三种数据抓取的方法
      
  • 正则表达式(re库)  
  • BeautifulSoup(bs4)  
  • lxml
*利用之前构建的下载网页函数,获取目标网页的html,我们以https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/为例,获取html。
  1. from get_html import download
  2. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  3. page_content = download(url)
复制代码
*假设我们需要爬取该网页中的国家名称和概况,我们依次利用这三种数据抓取的方法实现数据抓取。
1.正则表达式
  1. from get_html import download
  2. import re
  3. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  4. page_content = download(url)
  5. country = re.findall('class="h2dabiaoti">(.*?)</h2>', page_content) #注意返回的是list
  6. survey_data = re.findall('<tr><td bgcolor="#FFFFFF" id="wzneirong">(.*?)</td></tr>', page_content)
  7. survey_info_list = re.findall('<p>  (.*?)</p>', survey_data[0])
  8. survey_info = ''.join(survey_info_list)
  9. print(country[0],survey_info)
复制代码
2.BeautifulSoup(bs4)
  1. from get_html import download
  2. from bs4 import BeautifulSoup
  3. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  4. html = download(url)
  5. #创建 beautifulsoup 对象
  6. soup = BeautifulSoup(html,"html.parser")
  7. #搜索
  8. country = soup.find(attrs={'class':'h2dabiaoti'}).text
  9. survey_info = soup.find(attrs={'id':'wzneirong'}).text
  10. print(country,survey_info)
复制代码
3.lxml
  1. from get_html import download
  2. from lxml import etree #解析树
  3. url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
  4. page_content = download(url)
  5. selector = etree.HTML(page_content)#可进行xpath解析
  6. country_select = selector.xpath('//*[@id="main_content"]/h2') #返回列表
  7. for country in country_select:
  8. print(country.text)
  9. survey_select = selector.xpath('//*[@id="wzneirong"]/p')
  10. for survey_content in survey_select:
  11. print(survey_content.text,end='')
复制代码
运行效果:

末了,引用《用python写网络爬虫》中对三种方法的性能对比,如下图:

仅供参考。
总结
到此这篇关于python数据抓取3种方法的文章就先容到这了,更多相干python数据抓取内容请搜索草根技术分享以前的文章或继续欣赏下面的相干文章盼望各人以后多多支持草根技术分享!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作