• 售前

  • 售后

热门帖子
入门百科

Python爬虫数据的分类及json数据使用小结

[复制链接]
123457191 显示全部楼层 发表于 2021-10-26 14:33:44 |阅读模式 打印 上一主题 下一主题
目次


  • 数据的结构化分类
  • json数据

数据的结构化分类


       一样平常来讲对我们而言,须要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一样平常分为三部分,结构化的数据、半结构化的数据和非机构化数据。
1.结构化数据:
       可以用统一的结构加以表现的数据。可以使用关系型数据库表现和存储,体现为二维情势的数据,一样平常特点是:数据以行为单位,一行数据表现一个实体的信息,每一行的数据的属性是雷同的。
2.半结构化数据:
       结构化数据的一种情势,并不符合关系型数据库或其他数据表的情势关联起来的数据模型结构,但包含干系标记,用来分隔语义元素以及对纪录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有:html,xml和json等、现实上是以树或者图的结构来存储的。
       对于半结构化数据,节点中属性的次序是不重要的,差别的半结构化数据的属性的个数是不一样的。如许的数据格式,可以自由的表达许多有用的信息,包含自描述信息。以是半结构化数据的扩展性很好,特殊得当于在互联网中大规模传播。
3.非结构化数据
       就是没有固定的结构。各种文档,图片,视频或者音频都属于非结构化数据。对于这类数据,我们一样平常直接整体进行存储,而且一样平常存储为二进制情势。

json数据


       json(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。他基于ECMAScript(w3c订定的JS规范)的一个子集,采取完全独立于编程语言的文本格式来存储和表现数据。简介和清晰的条理结构使得JSON成为理想的数据交换语言。
       特点:易于阅读、易于呆板天生、有用提升网络速率。
       JSON语法规则:在JS语言中,统统都是对象。因此,任何支持的范例都可以通过json来表现。例如字符串、数字,对象,数组。
Js中对象和数组是比较特殊并且常用的两种范例:
       1.对象表现为键值对{name:'zhangsan',age:'7'}
       2.数据有逗号分隔[1,2,3,4,5]
       3.花括号生存对象
       4.方括号生存数组。
js的对象就相当于python中的字典
js的数组就相当于Python中的列表
       因为json用来存储js的对象或者数组,以是在Python中我们可以将json转化为list或者dict。
解析json的包json:
       json.dumps(python的list或者dict)---->(返回值)---->json字符串。
       json.loads(json字符串)------>(返回值)----->python的list或者dict.
       json.dump(list/dict,fp)—>list,或者字典生存到json文件中。
       json.load(fp)—>list/dict:从json文件中读出json数据。
       json键值对是用来生存js对象的一种方式,和js对象的写法页大同小异,比如:
{“firstName”:“Json”,“Class”:“aid1111”}等价于下面这条js语句:{firstName:“Json”,Class:“aid1111”}。
       许多人搞不清楚json和js对象的关系,乃至谁是谁都不清楚。着实可以这么明白:【JSON是JS对象的字符串表达式,他使用文本情势表现一个JS对象的信息,本质是一个字符串。】
       如var obj = {a:“hello”,b:“World”}这是一个js对象。留意,键名也是可以用引号包裹的var json = ' {“a”:“hello”,“b”:“World”}'这是一个json字符串,本质上是一个字符串。
       JSON作为数据包格式传输的时间具有更高的效率,这是因为JSON不想xml那样具有严格的闭合标签,这就让有用数据量与总数据包比大大提升,从而减少划一数据流量的环境下,网络的传输的压力大大减低。
以上就是Python爬虫数据的分类及json数据使用小结的具体内容,更多关于Python爬虫数据的分类及json数据使用的资料请关注草根技术分享别的干系文章!

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作