目录： 读取数据 索引 选择数据 简单运算 声明，本文引用于：https://www.dataquest.io/mission/8/introduction-to-pandas （建议阅读原文） Pandas使用一个二维的数据结构DataFrame来表示表格式的数据，相比较于Numpy，Pandas...
分类：
其他好文 时间：
2016-02-29 12:46:22
阅读次数：
325
数据分析和建模大部分时间都用在数据准备上，数据的准备过程包括：加载，清理，转换与重塑。 合并数据集 pandas对象中的数据可以通过一些内置方法来进行合并： pandas.merge可根据一个或多个键将不同DataFrame中的行连接起来，实现类似于数据库中的连接操作。 pandas.cancat表
分类：
编程语言 时间：
2016-02-25 10:18:44
阅读次数：
356
https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/sql/DataFrame.html people.filter("age > 30") .join(department, people("deptId") === depa
分类：
数据库 时间：
2016-01-28 18:45:26
阅读次数：
413
pandas获取列数据位常用功能，但在写法上还有些要注意的地方，在这里总结一下：‘‘‘
author:zilu.tang
2015-12-31
‘‘‘
importpandasaspd
data1=pd.DataFrame(...)#任意初始化一个列数为3的DataFrame
data1.columns=[‘a‘,‘b‘,‘c‘]
1.
data1[‘b‘]
#这里取到第2列（即b列）的值
..
分类：
编程语言 时间：
2015-12-31 13:03:52
阅读次数：
17798
在spark 运算过程中，常常需要连接不同类型的数据库以获取或者存储数据，这里将提及Spark如何连接mysql和MongoDB.1. 连接mysql , 在1.3版本提出了一个新概念DataFrame ，因此以下方式获取到的是DataFrame，但是可通过JavaRDD rows = jdbcDF...
分类：
数据库 时间：
2015-12-31 12:17:24
阅读次数：
237
1 概述（Overview）2 DataFrames2.1 入口：SQLContext（Starting Point: SQLContext）2.2 创建DataFrames（Creating DataFrames）2.3 DataFrame操作（DataFrame Operations）2.4 运...
分类：
数据库 时间：
2015-12-29 22:43:57
阅读次数：
2343
一：改变索引 reindex方法对于Series直接索引，对于DataFrame既可以改变行索引，也可以改变列索引，还可以两个一起改变. 1）对于Series 1 In [2]: seri = pd.Series([4.5,7.2,-5.3,3.6],index = ['d','b','a','.....
分类：
其他好文 时间：
2015-12-14 22:59:35
阅读次数：
251
pandas 是基于numpy构件的强大的数据处理模块，其核心的数据结构有两个：Series 与 DataFrame一：Series Series 是一种类似于表的东西，拥有索引（index）与其对应的值（value） 1）创建Series: Sereies方法接收两个参数，第一个与val...
分类：
其他好文 时间：
2015-12-12 15:27:43
阅读次数：
248
主要内容
Spark SQL、DataFrame与Spark Streaming
1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetworkW...
分类：
数据库 时间：
2015-11-29 19:41:25
阅读次数：
243
首先我们使用新的API方法连接mysql加载数据 创建DFimport org.apache.spark.sql.DataFrameimport org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveM...
分类：
数据库 时间：
2015-11-19 22:30:19
阅读次数：
341
