Application：spark应用程序，就是用户基于spark api开发的程序，一定是通过一个有main方法的类执行的，比如java开发spark，就是在eclipse中，建立的一个工程Application Jar：这个就是把写好的spark工程，打包成一个jar包，其中包括了所有的第三方j... ...
分类：
其他好文 时间：
2017-08-03 00:57:10
阅读次数：
119
Group在SQL经常使用，通常是对一个字段或者多个字段分组，求其总和，均值等。 Linq中的Groupby方法也有这种功能。具体实现看代码： 假设有如下的一个数据集： 可以把这个数据集想象成数据库中的一个二维表格。 示例一 通常我们会把分组后得到的数据放到匿名对象中，因为分组后的数据的列不一定和原 ...
分类：
其他好文 时间：
2017-08-02 23:26:32
阅读次数：
235
select (row_number()over(order by dabh)-1)/20[groupby] from v_payroll ...
分类：
其他好文 时间：
2017-07-29 00:58:26
阅读次数：
150
摘要：RDD是Spark中极为重要的数据抽象，这里总结RDD的概念，基本操作Transformation(转换)与Action，RDDs的特性，KeyValue对RDDs的Transformation(转换)。 1.RDDs是什么 Resilient distributed datasets(弹性分 ...
分类：
其他好文 时间：
2017-07-28 20:51:04
阅读次数：
271
groupby分组函数： 返回值：返回重构格式的DataFrame，特别注意，groupby里面的字段内的数据重构后都会变成索引 groupby(),一般和sun()一起使用，如下例： from pandas import Series,DataFrame a=[['Li','男','PE',98. ...
分类：
其他好文 时间：
2017-07-28 12:14:52
阅读次数：
240
Having和Where的区别：先执行Where的条件，再执行Having的条件groupby和orderby的区别：groupby是分组，orderby是排序select子句的顺序：select...from...where...groupby...having...orderby...limit...
分类：
数据库 时间：
2017-07-26 17:55:03
阅读次数：
173
范式化的优点：范式化更新操作通常比反范式化要快。当数据较好的范式化时，就只有很少或者没有重复数据，所以，只需要修改更少的数据。范式化的表通常更小，可以更好地放在内存里，所以执行操作会更快。很少有多余的数据意味着检索列表数据更少需要distinct或者groupby语句。范..
分类：
数据库 时间：
2017-07-22 22:22:31
阅读次数：
203
前言 Python的pandas包提供的数据聚合与分组运算功能很强大，也很灵活。《Python for Data Analysis》这本书第9章详细的介绍了这方面的用法，但是有些细节不常用就容易忘记，遂打算把书中这部分内容总结在博客里，以便复习查看。根据书中的章节，这部分知识包括以下四部分： 1.G ...
分类：
编程语言 时间：
2017-07-21 22:06:38
阅读次数：
287
今天遇到这么一个需求，需要将这样的数据进行分组处理： 处理之后我可能需要得到这样的结果： 找了一些办法，最后想到了以前用过的在itertools里面的包groupby方法，因为比较少使用所以总是忘。它可以轻松的实现分组功能，由于是itertools包里面的，所以它的返回是一个迭代器。这一点要注意下面 ...
分类：
编程语言 时间：
2017-07-21 18:59:20
阅读次数：
988
