环境: R 研究对象： 1. 二手房数据的区域特征 2. 二手房数据的面积特征 1. 导入原始数据 setwd("/Users/mac/Desktop/lianjia/") d = read.csv("/Users/mac/Desktop/lianjia/Lianjia.csv") 2. 数据清洗 ...
分类：
其他好文 时间：
2020-01-04 10:57:11
阅读次数：
313
1 import pandas as pd 2 import numpy as np 3 from sklearn.cluster import KMeans 4 import matplotlib.pyplot as plt 5 6 7 def stand_sca(data): 8 """ 9 标 ...
分类：
其他好文 时间：
2019-12-29 20:10:30
阅读次数：
201
由于源数据量较大（3.41G），本文只对 300万 条数据进行处理 处理时间戳 异常日期处理 生成本地CSV文件 ...
分类：
移动开发 时间：
2019-12-28 21:18:30
阅读次数：
116
1.1项目完成的功能与特色 （1）功能：对2016—2018课程的平时、期中、期末三个不同的分数进行数据清洗和分析，最后以合适的柱状图、折线图、饼图等方式表示出来并在网页上渲染 （2）特色：图表能够清晰得呈现不同分数得高低，一目了然得看出最高分、最低分、平均分，观察图表的人能够迅速得获取自己所想要的 ...
分类：
其他好文 时间：
2019-12-17 22:03:56
阅读次数：
217
数据分析03 /基于pandas的数据清洗、级联、合并 [TOC] 1. 处理丢失的数据 两种丢失的数据： 1. 种类 None：None是对象类型，type(None)：NoneType np.nan(NaN)：是浮点型，type(np.nan)：float 2. 两种丢失数据的区别: objec ...
分类：
其他好文 时间：
2019-12-12 18:04:03
阅读次数：
125
数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出来的，不确定性与未知 ...
分类：
其他好文 时间：
2019-12-07 01:04:35
阅读次数：
506
最近项目中需要对实际地震数据进行道头, 卷头的操作以及数据清洗, 因此需要SU进行处理. 下载安装VMare, 并配置Ubantu18.04 从官网上下载VMare Workstation 15.5: https://my.vmware.com/cn/web/vmware/info/slug/des ...
使用requests模块获取网页内容，bs4数据清洗 ，pands保存数据一般都为csv格式。 import requests from bs4 import BeautifulSoup import pandas as pd def Get_data(url): # 请求得到网页内容 res = ...
分类：
编程语言 时间：
2019-12-02 19:06:27
阅读次数：
120
在数据的处理过程中,一般都需要进行数据清洗工作,如数据集是否存在重复,是否存在缺失,数据是否具有完整性和一致性,数据中是否存在异常值等.发现诸如此类的问题都需要针对性地处理,下面我们一起学习常用的数据清洗方法. 1.重复观测处理 重复观测:指观测行存在重复的现象,重复观测的存在会影响数据分析和挖掘结 ...
分类：
编程语言 时间：
2019-11-22 14:04:41
阅读次数：
68
在日常分析工作中，80%左右的时间用于清洗数据，所以掌握数据清洗相当重要 ...
分类：
编程语言 时间：
2019-11-21 09:17:17
阅读次数：
66
