• 售前

  • 售后

热门帖子
入门百科

Python数据提取-lxml模块

[复制链接]
123456806 显示全部楼层 发表于 2022-1-8 06:39:02 |阅读模式 打印 上一主题 下一主题
知识点:

  • 相识lxml模块和
    1. xpath
    复制代码
    语法的关系;
  • 相识lxml模块的利用场景;
  • 相识lxml模块的安装;
  • 相识 谷歌欣赏器
    1. xpath helper
    复制代码
    插件的安装和利用;
  • 掌握xpath语法-基础节点选择语法;
  • 掌握 xpath语法 -节点修饰语法;
  • 掌握xpath语法 - 其他常用语法;
  • 掌握 lmxl模块中利用xpath语法定位元素提取数学值或文本内容;
  • 掌握lxml模块etree.tostring函数的利用;
1、相识lxml模块和xpath语法

  1. html
复制代码
或xml情势的文本提取特定的内容,就必要我们掌握lxml模块的利用和xpath语法。
lxml模块可以利用xPath规则语法,来快速的定位HEML \ XML 文档中特定元素以及获取节点信息(文本内容、属性值);
  1. XPath
复制代码
(XML Path Language)是一门HTML\XML 文档中查找信息的语言,可用来在HTML|XML文档中对元素和属性举行遍历。
提取xml、html的数据必要lxml模块和xpath语法配合利用;
2、谷歌欣赏器xpath helper插件的安装和利用


  • 在谷歌欣赏器中对当前页面测试xpath语法规则。
  • 谷歌欣赏器xpath helper插件的安装和利用
我们以
  1. windows
复制代码
为例举行xpath helper的安装。
  1. xpath helper
复制代码
插件的安装:

  • 1)、下载Chrome插件 XPath Helper
  • 可以在Chrome应用商城举行下载,如果无法下载,也可以从下面的链接举行下载
  • 2)、把文件的后缀名crx改为rar,然后解压到同名文件夹中;
  • 3)、把解压后的文件夹拖入到已经开启开发者模式的chrome欣赏器扩展步伐界面;
3、xpath 的节点关系

学习xpath语法必要先相识xpath中的节点关系。
3.1 xpath中的节点什么

每个
  1. html
复制代码
、xml的标签我们都称之为节点,其中最顶层的节点称为根节点。我们以
  1. xml
复制代码
为例、html也是一样的。、

3.2 xpath中节点的关系

  1. author
复制代码
  1. title
复制代码
的第一个兄弟节点。
4、xpath语法 - 选取节点以及提取属性或文本内容的语法


  • 1)、XPath 利用路径表达式来选取XML文档中的节点大概节点集。
  • 2)、这些路径表达式和我们在通例的电脑文件系统中看到的表达式非常相似;
  • 3)、利用chrome插件选择标签时间,选中的标签会添加属性class=“xh-highlight”;
4.1 xpath定位节点以及提取属性或文本内容的语法


5、xpath 语法 - 选取特定节点的语法

可以根据标签的属性值,下标等来获取特定的节点。
5.1 选取特定节点的语法


5.2 关于xpath的下标

在xpath中,第一个元素的位置是1;
最后一个元素的位置是last();
倒数第二个是last() - 1;
6、xpath语法 - 选取未知节点的语法

可以同通配符来选取未知的
  1. html
复制代码
  1. xml
复制代码
的元素。
6.1、选取未知节点的语法


7.lxml模块的安装与利用示例

lxml模块是一个第三方模块,安装之后利用。
7.1 lxml模块的安装

对发送哀求获取的xml或html情势的响应内容举行提取。
  1. pip install lxml
复制代码
7.2 爬虫对html提取的内容

提取标签中的文本内容;
提取标签中的属性的值;
比如,提取a标签中href属性的值,获取url,进而继续发起哀求。
7.3 lxml模块的利用

1)、导入lxml的etree库
  1. from lxml import etree
复制代码
2)、利用
  1. etree.HTML
复制代码
,将html字符串(bytes范例或str范例)转化为
  1. Element
复制代码
对象,
  1. Element
复制代码
对象具有xpath的方法,返回结果的种别。
  1. html = etree.HTML(text)
  2. ret_list = html.xpath("xpath语法规则字符串")
复制代码
3)、xpath方法返回列表的三种环境
返回空列表:根据xpath语法规则字符串,没有定位到任何元素;
返回由字符串构成的列表:xpath字符串规则匹配的一定是文本内容或某属性的值;
返回由
  1. Element
复制代码
对象构成的列表:xpath规则字符串匹配的是标签,列表中的
  1. Element
复制代码
对象可以继续举行xpath;
  1. import requests
  2. from lxml import etree
  3. class Tieba(object):
  4.     def __init__(self,name):
  5.         self.url = "https://tieba.baidu.com/f?ie=utf-8&kw={}".format(name)
  6.         self.headers = {
  7.             'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
  8.         }
  9.     def get_data(self,url):
  10.         response = requests.get(url,headers=self.headers)
  11.         with open("temp.html","wb") as f:
  12.             f.write(response.content)
  13.         return response.content
  14.     def parse_data(self,data):
  15.         # 创建element对象
  16.         data = data.decode().replace("<!--","").replace("-->","")
  17.         html =etree.HTML(data)
  18.         el_list = html.xpath('//li[@class="j_thread_list clearfix"]/div/div[2]/div[1]/div[1]/a')
  19.         #print(len(el_list))
  20.         data_list = []
  21.         for el in el_list:
  22.             temp = {}
  23.             temp['title'] = el.xpath("./text()")[0]
  24.             temp['link'] = 'http://tieba.baidu.com' + el.xpath("./@href")[0]
  25.             data_list.append(temp)
  26.         # 获取下一页url
  27.         try:
  28.             next_url = 'https:' + html.xpath('//a[contains(text(),"下一页"]/@href')[0]
  29.         except:
  30.             next_url = None
  31.         return data_list,next_url
  32.     def save_data(self,data_list):
  33.         for data in data_list:
  34.             print(data)
  35.     def run(self):
  36.         # url
  37.         # headers
  38.         next_url = self.url
  39.         while True:
  40.             # 发送请求,获取响应
  41.             data = self.get_data(self.url)
  42.             # 从响应中提取数据(数据和翻页用的url)
  43.             data_list,next_url = self.parse_data(data)
  44.             self.save_data(data_list)
  45.             print(next_url)
  46.             # 判断是否终结
  47.             if next_url == None:
  48.                 break
  49. if __name__ == '__main__':
  50.     tieba =Tieba("传智播客")
  51.     tieba.run()
复制代码
8、lxml模块中etree.tostring函数的利用

运行下边的代码,观察对比
  1. html
复制代码
的原字符串和打印输出的结果
  1. from lxml import etree
  2. html_str = """<div<<ul>
  3.         <li class="item-1"><a href="link1.html" rel="external nofollow" >first item</a></li>
  4.         <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li>
  5.         <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li>
  6.         <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li>
  7.         <li class="item=0"><a href="link5.html" rel="external nofollow" >fifth item</a>
  8.         </ur></div>
  9. """
  10. html = etree.HTML(html_str)
  11. handeled_html_str = etree.tostring(html).decode()
  12. print(handeled_html_str)
复制代码
结论:

    1. lxml.etree.HTML(html_str)
    复制代码
    可以自动补全标签;
    1. lxml.etree.tostring
    复制代码
    函数可以将转换位
    1. Element
    复制代码
    对象再转换回html字符串;
  • 爬虫如果利用
    1. lxml
    复制代码
    来提取数据,应该以
    1. lxml.etree.tostring
    复制代码
    的返回结果作为提取数据的依据;
到此这篇关于Python数据提取-lxml模块的文章就介绍到这了,更多相干Python -lxml模块内容请搜刮草根技术分享从前的文章或继续欣赏下面的相干文章希望大家以后多多支持草根技术分享!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作