Python数据提取-lxml模块

• 相识lxml模块和

  xpath
  复制代码

  语法的关系；
  
• 相识lxml模块的利用场景；
  
• 相识lxml模块的安装；
  
• 相识 谷歌欣赏器

  xpath helper
  复制代码

  插件的安装和利用；
  
• 掌握xpath语法-基础节点选择语法；
  
• 掌握 xpath语法 -节点修饰语法；
  
• 掌握xpath语法 - 其他常用语法；
  
• 掌握 lmxl模块中利用xpath语法定位元素提取数学值或文本内容；
  
• 掌握lxml模块etree.tostring函数的利用；
  

html
复制代码

XPath
复制代码

• 在谷歌欣赏器中对当前页面测试xpath语法规则。
  
• 谷歌欣赏器xpath helper插件的安装和利用
  

windows
复制代码

xpath helper
复制代码

• 1）、下载Chrome插件 XPath Helper
  
• 可以在Chrome应用商城举行下载，如果无法下载，也可以从下面的链接举行下载
  
• 2）、把文件的后缀名crx改为rar,然后解压到同名文件夹中；
  
• 3）、把解压后的文件夹拖入到已经开启开发者模式的chrome欣赏器扩展步伐界面；
  

html
复制代码

xml
复制代码

author 
复制代码

title
复制代码

• 1）、XPath 利用路径表达式来选取XML文档中的节点大概节点集。
  
• 2）、这些路径表达式和我们在通例的电脑文件系统中看到的表达式非常相似；
  
• 3）、利用chrome插件选择标签时间，选中的标签会添加属性class=“xh-highlight”;
  

html
复制代码

xml
复制代码

pip install lxml
复制代码

from lxml import etree
复制代码

etree.HTML
复制代码

Element
复制代码

Element
复制代码

html = etree.HTML(text)
ret_list = html.xpath("xpath语法规则字符串")
复制代码

Element
复制代码

Element
复制代码

import requests
from lxml import etree

class Tieba(object):

    def __init__(self,name):
        self.url = "https://tieba.baidu.com/f?ie=utf-8&kw={}".format(name)
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
        }

    def get_data(self,url):
        response = requests.get(url,headers=self.headers)
        with open("temp.html","wb") as f:
            f.write(response.content)

        return response.content

    def parse_data(self,data):
        # 创建element对象
        data = data.decode().replace("<!--","").replace("-->","")
        html =etree.HTML(data)

        el_list = html.xpath('//li[@class="j_thread_list clearfix"]/div/div[2]/div[1]/div[1]/a')
        #print(len(el_list))

        data_list = []

        for el in el_list:
            temp = {}
            temp['title'] = el.xpath("./text()")[0]
            temp['link'] = 'http://tieba.baidu.com' + el.xpath("./@href")[0]
            data_list.append(temp)

        # 获取下一页url
        try:
            next_url = 'https:' + html.xpath('//a[contains(text(),"下一页"]/@href')[0]
        except:
            next_url = None

        return data_list,next_url

    def save_data(self,data_list):
        for data in data_list:
            print(data)

    def run(self):
        # url
        # headers
        next_url = self.url

        while True:

            # 发送请求，获取响应
            data = self.get_data(self.url)
            # 从响应中提取数据（数据和翻页用的url)
            data_list,next_url = self.parse_data(data)

            self.save_data(data_list)

            print(next_url)

            # 判断是否终结
            if next_url == None:
                break

if __name__ == '__main__':
    tieba =Tieba("传智播客")
    tieba.run()
复制代码

html
复制代码

from lxml import etree

html_str = """<div<<ul>
        <li class="item-1"><a href="link1.html" rel="external nofollow" >first item</a></li>
        <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li>
        <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li>
        <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li>
        <li class="item=0"><a href="link5.html" rel="external nofollow" >fifth item</a>
        </ur></div>
"""

html = etree.HTML(html_str)

handeled_html_str = etree.tostring(html).decode()
print(handeled_html_str)
复制代码

• lxml.etree.HTML(html_str)
  复制代码

  可以自动补全标签；
  

• lxml.etree.tostring 
  复制代码

  函数可以将转换位

  Element
  复制代码

  对象再转换回html字符串；
  
• 爬虫如果利用

  lxml
  复制代码

  来提取数据，应该以

  lxml.etree.tostring
  复制代码

  的返回结果作为提取数据的依据；