在数字经济时代，互联网、智能设备和其他形式的信息技术的爆炸性增长使数据以同样令人印象深刻的速度增长。可以记录企业管理的各个阶段，也可以记录产品销售的各个环节，收集客户的消费行为和在线行为。数据已成为重要的生产要素。通过数据的收集、存储、整理、分析和建模，数据隐藏的重要价值和规律逐渐显现出来，成为企业转型、升级和可持续发展的重要动力。大数据分析建模是大数据应用的核心和重要基础，已成为科技界和企业
分类：
其他好文 时间：
2020-05-21 19:44:28
阅读次数：
90
在使用R语言处理表格时(xlsx, csv)，有时里面含有缺失值，或者不规范的数值，比如下图有许多的问号“?”，为了便于处理数据，这些都应该整行地删掉。 为了删掉那些包含"？"的行，需要先找到那些行，方法如下，通过 which(逻辑表达式) 函数找到对应行标 > data<- read.csv('b ...
分类：
编程语言 时间：
2020-05-15 10:01:44
阅读次数：
245
文章目录 4. Pipelines 管道5. Cross-Validation 交叉验证上一篇：【Kaggle】Intermediate Machine Learning（缺失值+文字特征处理） 4. Pipelines 管道 该模块可以把数据前处理+建模整合起来 好处： 更清晰的代码：在预处理的每 ...
分类：
系统相关 时间：
2020-05-13 23:37:13
阅读次数：
108
缺失值、重复值的查看、删除、填充，使用dropna、fillna、interpolate函数处理缺失值，使用duplicated、drop_duplicates函数处理重复值，使用reset_index函数重置行索引 ...
分类：
其他好文 时间：
2020-05-12 18:34:36
阅读次数：
93
# 处理异常值缺失值重复值数据差分 import pandas as pd import numpy as np import copy # 设置列对齐 pd.set_option("display.unicode.ambiguous_as_wide",True) pd.set_option("di ...
分类：
其他好文 时间：
2020-05-07 19:40:15
阅读次数：
103
数据预处理的主要内容包括数据清洗、数据集成、数据变换、数据规约。 数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值和异常值。 数据质量分析是检查数据中是否存在一些脏数据，例如：缺失值、异常值和不一致的值等。 数据缺失有很多原因，例如数据无法获得 ...
分类：
其他好文 时间：
2020-05-03 16:39:32
阅读次数：
136
Pandas：缺失数据 Pandas在步入1.0后，对数据类型也做出了新的尝试，尤其是Nullable类型和String类型，了解这些可能在未来成为主流的新特性是必要的 一、缺失观测及其类型 1. 了解缺失信息 isna和notna方法 isna和notna方法 查看缺失值的所以在行 2. 三种缺失 ...
分类：
其他好文 时间：
2020-04-30 09:46:41
阅读次数：
75
上个一篇博客讲解了如何进行数据的缺失值处理，本篇就来讲解一下如何进行数据转换的一系列操作。 一：删除重复值 由于各种原因，DataFrame中会出现重复行，如下： 用duplicated方法可以返回一个布尔值Series，找出每一行是否有重复情况。 而drop_duplicates返回的是DataF ...
分类：
编程语言 时间：
2020-04-26 21:16:56
阅读次数：
98
一、算术和广播 当对两个Series或者DataFrame对象进行算术运算的时候，返回的结果是两个对象的并集。如果存在某个索引不匹配时，将以缺失值NaN的方式体现，并对以后的操作产生影响。这类似数据库的外连接操作。 In [58]: s1 = pd.Series([4.2,2.6, 5.4, -1. ...
分类：
其他好文 时间：
2020-04-12 10:22:29
阅读次数：
93
Pands模块可以帮助数据分析师轻松地解决数据的预处理问题，如数据类型的转换、缺失值的处理、描述性统计分析、数据的汇总等。Pandas模块的核心操作对象就是序列（Series）和数据框（DataFrame）。序列可以理解为数据集中的一个字段，数据框是指含有至少两个字段（或序列）的数据集。 1. 序列 ...
分类：
编程语言 时间：
2020-04-09 12:20:02
阅读次数：
97
