• 售前

  • 售后

热门帖子
入门百科

Python3 常用数据尺度化方法详解

[复制链接]
老橡树1 显示全部楼层 发表于 2021-10-26 13:04:36 |阅读模式 打印 上一主题 下一主题
数据尺度化是呆板学习、数据发掘中常用的一种方法。包罗我自己在做深度学习方面的研究时,数据尺度化是最根本的一个步调。
数据尺度化主要是应对特性向量中数据很分散的情况,防止小数据被大数据(绝对值)吞并的情况。
别的,数据尺度化也有加速训练,防止梯度爆炸的作用。
下面是从李宏毅教授视频中截下来的两张图。

左图表现未经过数据尺度化处理的loss更新函数,右图表现经过数据尺度化后的loss更新图。可见经过尺度化后的数据更容易迭代到最优点,而且收敛更快。
一、[0, 1] 尺度化

[0, 1] 尺度化是最根本的一种数据尺度化方法,指的是将数据压缩到0~1之间。
尺度化公式如下

代码实现
  1. def MaxMinNormalization(x, min, max):
  2.   """[0,1] normaliaztion"""
  3.   x = (x - min) / (max - min)
  4.   return x
复制代码
大概
  1. def MaxMinNormalization(x):
  2.   """[0,1] normaliaztion"""
  3.   x = (x - np.min(x)) / (np.max(x) - np.min(x))
  4.   return x
复制代码
二、Z-score尺度化

Z-score尺度化是基于数据均值和方差的尺度化化方法。尺度化后的数据是均值为0,方差为1的正态分布。这种方法要求原始数据的分布可以近似为高斯分布,否则效果会很差。
尺度化公式如下

下面,我们看看为什么经过这种尺度化方法处理后的数据为是均值为0,方差为1

代码实现
  1. def ZscoreNormalization(x, mean_, std_):
  2.   """Z-score normaliaztion"""
  3.   x = (x - mean_) / std_
  4.   return x
复制代码
大概
  1. def ZscoreNormalization(x):
  2.   """Z-score normaliaztion"""
  3.   x = (x - np.mean(x)) / np.std(x)
  4.   return x
复制代码
补充:Python数据预处理:彻底理解尺度化和归一化
数据预处理

数据中差别特性的量纲大概不一致,数值间的差异大概很大,不举行处理大概会影响到数据分析的效果,因此,须要对数据按照肯定比例举行缩放,使之落在一个特定的区域,便于举行综合分析。
常用的方法有两种:

最大 - 最小规范化:对原始数据举行线性变动,将数据映射到[0,1]区间

Z-Score尺度化:将原始数据映射到均值为0、尺度差为1的分布上

为什么要尺度化/归一化?

提升模子精度:尺度化/归一化后,差别维度之间的特性在数值上有肯定比较性,可以大大进步分类器的准确性。
加速模子收敛:尺度化/归一化后,最优解的寻优过程显着会变得平缓,更容易正确的收敛到最优解。
如下图所示:


哪些呆板学习算法须要尺度化和归一化

1)须要使用梯度下降和盘算距离的模子要做归一化,由于不做归一化会使收敛的路径程z字型下降,导致收敛路径太慢,而且不容易找到最优解,归一化之后加速了梯度下降求最优解的速率,并有大概进步精度。比如说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。须要盘算距离的模子须要做归一化,比如说KNN、KMeans等。
2)概率模子、树形布局模子不须要归一化,由于它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如决议树、随机森林。

彻底理解尺度化和归一化


示例数据集包含一个自变量(已购买)和三个因变量(国家,年事和薪水),可以看出用薪水范围比年事宽的多,如果直接将数据用于呆板学习模子(比如KNN、KMeans),模子将完全有薪水主导。
  1. #导入数据
  2. import numpy as np
  3. import matplotlib.pyplot as plt
  4. import pandas as pd
  5. df = pd.read_csv('Data.csv')
复制代码
缺失值均值添补,处理字符型变量
  1. df['Salary'].fillna((df['Salary'].mean()), inplace= True)
  2. df['Age'].fillna((df['Age'].mean()), inplace= True)
  3. df['Purchased'] = df['Purchased'].apply(lambda x: 0 if x=='No' else 1)
  4. df=pd.get_dummies(data=df, columns=['Country'])
复制代码
最大 - 最小规范化
  1. from sklearn.preprocessing import MinMaxScaler
  2. scaler = MinMaxScaler()
  3. scaler.fit(df)
  4. scaled_features = scaler.transform(df)
  5. df_MinMax = pd.DataFrame(data=scaled_features, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])
复制代码
Z-Score尺度化
  1. from sklearn.preprocessing import StandardScaler
  2. sc_X = StandardScaler()
  3. sc_X = sc_X.fit_transform(df)
  4. sc_X = pd.DataFrame(data=sc_X, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])
复制代码
  1. import seaborn as sns
  2. import matplotlib.pyplot as plt
  3. import statistics
  4. plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
  5. fig,axes=plt.subplots(2,3,figsize=(18,12))
  6. sns.distplot(df['Age'], ax=axes[0, 0])
  7. sns.distplot(df_MinMax['Age'], ax=axes[0, 1])
  8. axes[0, 1].set_title('归一化方差:% s '% (statistics.stdev(df_MinMax['Age'])))
  9. sns.distplot(sc_X['Age'], ax=axes[0, 2])
  10. axes[0, 2].set_title('标准化方差:% s '% (statistics.stdev(sc_X['Age'])))
  11. sns.distplot(df['Salary'], ax=axes[1, 0])
  12. sns.distplot(df_MinMax['Salary'], ax=axes[1, 1])
  13. axes[1, 1].set_title('MinMax:Salary')
  14. axes[1, 1].set_title('归一化方差:% s '% (statistics.stdev(df_MinMax['Salary'])))
  15. sns.distplot(sc_X['Salary'], ax=axes[1, 2])
  16. axes[1, 2].set_title('StandardScaler:Salary')
  17. axes[1, 2].set_title('标准化方差:% s '% (statistics.stdev(sc_X['Salary'])))
复制代码
可以看出归一化比尺度化方法产生的尺度差小,使用归一化来缩放数据,则数据将更集中在均值附近。这是由于归一化的缩放是“拍扁”统一到区间(仅由极值决定),而尺度化的缩放是更加“弹性”和“动态”的,和整体样本的分布有很大的关系。
所以归一化不能很好地处理离群值,而尺度化对非常值的鲁棒性强,在许多情况下,它优于归一化。
以上为个人履历,渴望能给各人一个参考,也渴望各人多多支持草根技术分享。如有错误或未考虑完全的地方,望不吝见教。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作