码迷,mamicode.com
首页 > 其他好文 > 详细

CDA 数据分析师 level1 part 2

时间:2019-12-03 10:28:55      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:info   top   方差   中间   pre   能力   需要   display   png   

数据分析师

 
 
 

数据分析师

第二章-描述性统计分析


数据的计量尺度和具体的统计方法息息相关,大致分为3类,分别是名义测量、次序测量和连续变量测量这三类测量分别对应三种变量类型,即分类变量,顺序变量和数值变量。连续变量测量可以进一步细分为间距测量和比例测量。间距测量和比率测量这两种测量,统计软件通常不做区分,大部分的模型都适用

名义测量( nominal measurement)是最低的一种测量等级,也称定名测度。其数值仅代表某些分类或属性。比如用来表示性别(1或2)和民族(1、2、3...)等。这类变量一般不做高低、大小区分。名义测量没有大小等级,只是数字符号

次序测量( ordinal measurement)的量化水平高于名义测量,用于测量的数值代表了一些有序分类。比如,用来表示受教育程度高低的数字(1、2、3..)具有一定的顺序性。次序测量是有等级和顺序的

间距测量( interval measurement)的量化程度更高一些,它的取值不再是类的编码,而是采用一定单位的实际测量值。可以进行加减运算,但不能进行乘除运算,因为测量等级变量所取的“O”值,不是物理上的绝对“”。比如,考试成绩的零分,不能说这个学生一点英语能力也没有。间距测量具有实际意义,可以进行加减乘除

比率测量( ratio measurement)是最高级的测量等级,它除了具有间距测度等级的所有性质外,其0值具有物理上的绝对意义,而且可以进行加减乘除运算。例如增长率、收入等。

 

数据描述

分类变量

对于分类变量,通常可以检查变量的众数、分类取值的百分比间的差别大小,有无太小的比例(异常值),主要的统计量如下:

●频次频数:每个水平出现的次数;

●百分比:每个水平出现的频数除以总数;

●累积频次与累积百分比:仅对于次序型变量有意义,分别计算累积频次和百分比。

顺序变量

对于顺序变量,通常检测数据的众数、频次、百分比、累积频次与累积百分比,四分位差等

连续变量(重点)

对于连续变量,通常检查中心水平、离散程度、偏度和峰度4个方面
值得注意的是分类变量、顺序变量、连续变量的量化水平是由低到高的,低水平变量的统计量可以用于高水平,但高水平变量的统计量不一定能用于低水平。例如分类变量的统计量可以用于连续变量,但反之则不一定成立。

连续变量中心水平
能代表“中心”概念的可选统计量有均值、中位数和众数。
众数:出现次数最多的变量值,一组数据可能没有众数或有几个众数。例如:数据23,4,4,5,5,7,8,23,78,其中4和5出现了两次,则4和5都是众数。
中位数:排序后处于中间位置上的值,这里需要注意的是,一定要先排序。

为奇数为偶数

//


这里的n表示数据数量
例如,数据1,2,6,5,4,3排序后为12,3,4,5,6,这里n=6,是偶数,所以该数据的中位数为(3+4)/2=2.5

连续变量中心水平

四分位数:是另外一套表达变量位置信息的手段,其定义方式类似于中位数。中位数本身就是变量从大到小排序后,50%对应的变量取值。如图:

 

技术图片

这里的Q1称为下四分位数,Q3称为上四份位数,Q2就是中位数。

连续变量---中心水平(算数平均数)

样本平均数

 

//


总体平均数

 

//


这里的n是样本数据量,N是总体数据量,样本是用来估计总体的。一般样本用英文字母,而总体用希腊字母

连续变量---中心水平(加权平均数)

样本加权平均

 

//


总体加权平均

 

//


这里的

//

表示各组数据的组中值或数据本身,

//

表示各组频数或数据的权重

连续变量---中心水平(几何平均数)
适用于计算比率数据的平均,主要用于计算平均增长率。

 

//


各个中心水平度量的比较:
众数和中位数不易受到极端值的影响,平均数容易受到极端值得影响。众数和中位数适合在非对称情况下使用,众数不是唯一的。

连续变量离散程度

知道一个变量的“中心”水平统计量之后,还想知道这个指标到底有多大的代表性。如果这个变量的变化范围非常小,甚至是常数,那么这个水平变量就非常有代表意义;如果这个变量的变化范围非常大,么水平指标的代表性就相对下降。如下表所示,列出了5个常用的离散程度度量指标。

离散程度度量指标定义
异众比率 非众数组的频数占总频数的比例
极差 最大值-最小值
四分位差 上分位数-下分位数
方差 测量变量取之偏离自身均值的程度
标准差 方差开根号(和变量原有取值具有同样的量纲)

* 异众比率公式:

//

这里的

//

表示众数的频率
* 方差公式:
* 总体方差 :

//


* 样本方差 :

//


* 标准差公式:
* 总体标准差 :

//


* 样本标准差 :

//

方差在统计学中也称为二阶中心距,实际是该变量每个取值到均值之间的距离均值。方差在很多参数统计的推导公式中出现,但是实际描述性统计中使用的不多。主要是方差的单位比较特殊,不容易理解。标准差是描述分析中使用最多的,因为标准差的单位和原始变量相同。

连续变量——偏度

偏度用来刻画偏态的程度。偏态有两种情况:一种是如下图所示(左边)的左偏,该变量在负的方向部分严重拖尾;另一种是如下图所示(右边)的右偏,在正的方向部分严重拖尾。在实际经济和商业数据分析中,右偏是比较普遍的状态。比如,地区的居民收入、客户购买产品的数量、金额和保险理赔额。

 

技术图片

连续变量——峰度

峰度反应的是变量向两边拖尾的情况。相比正态分布而言,如果一个变量是尖峰的,则必然会导致两边拖尾情况更严重,反映到统计学中就会出现超过2倍标准差数值的概率会大于5%,超过3倍标准差数值的概率会大于1%。这表明出现较大偏离值的可能性提高了。资产收益率的峰度在金融研究中是比较受关注的,这表明了该资产的风险分布情况,尾越厚,风险越大。

技术图片

图形描述

条形图

条形图是一个很好展现变量分布情况的方式,但是连续变量不可能做出条形图因为连续变量如果精度足够大的话,每个取值出现的频数应该只有一次。但是可以采用将连续变量分箱的方法做直方图这样,每个柱代表一个分箱,柱高为在这个分箱中的取值出现的次数或百分比,分箱的数量和间隔可以自定义,如下图所示:

技术图片

盒须图

盒须图(又称箱线图)相对于直方图而言,提供的信息更精炼。它提供了中位数、均值、上下分位点的信息,这不但可以了解变量的中心水平,还可以了解变量的变化范围。其中需要说明的是最大值和最小值,它们不是变量的最大值和最小值。如图1-9所示,以盒须图中的最小值为例,从上分位点加上1.5倍的内分位距(IQR),该变量在这个范围内的最大取值被称为最大值,超过1.5倍的内分位距的取值被称为离群值(异常值)。

技术图片

玫瑰图

玫瑰图又称为南丁格尔玫瑰图。南丁格尔( Floarence Nightinggale),英国护士和统计学家。1883年,南丁格尔撰写影响英国军队健康,效率和医院管理的资料中,她创造了一个非凡的原创图形展示方式(如下图所示),这张图显示了人们在1854年7月至次年年底期间死亡的情况。
南丁格尔玫瑰图类似于饼图的变形,它可以用转角、扇形面积、以及颜色展现数据的不同维度。

技术图片

 

CDA 数据分析师 level1 part 2

标签:info   top   方差   中间   pre   能力   需要   display   png   

原文地址:https://www.cnblogs.com/pandaboy1123/p/11975187.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!