spark的rdd进行groupby以后有时需要对value处理 可以这样处理： 之后可以循环处理 grouped里的对象，类似： ...
分类：
其他好文 时间：
2017-09-05 18:58:43
阅读次数：
249
科普Spark，Spark是什么，如何使用Spark 1.Spark基于什么算法的分布式计算（很简单） 2.Spark与MapReduce不同在什么地方 3.Spark为什么比Hadoop灵活 4.Spark局限是什么 5.什么情况下适合使用Spark 什么是Spark Spark是UC Berke ...
分类：
其他好文 时间：
2017-09-01 14:36:09
阅读次数：
180
1.List GroupBy 用法 2.枚举类配合反射使用（避免到处出现 order.state == 50 order.statedesc =="已付款" 等等带有常量的代码） 3.正则备忘 4.搜索配下拉布局 ...
分类：
其他好文 时间：
2017-09-01 11:53:32
阅读次数：
222
使用之前selectA_ID,B_IDfromCustomerInfo使用之后selectA_ID,GROUP_CONCAT(B_ID)fromCustomerInfoorderbyA_ID注意：GROUP_CONCAT()一定要配合groupby使用
分类：
数据库 时间：
2017-08-30 11:04:29
阅读次数：
167
Python iter 生成器 迭代器 yield yield from itertools中的方法 product count ... ...
分类：
编程语言 时间：
2017-08-26 13:45:19
阅读次数：
634
[Beego模型] 一、ORM 使用方法 [Beego模型] 二、CRUD 操作 [Beego模型] 三、高级查询 [Beego模型] 四、使用SQL语句进行查询 [Beego模型] 五、构造查询 [Beego模型] 六、事务处理 QueryBuilder 提供了一个简便，流畅的 SQL 查询构造器 ...
分类：
其他好文 时间：
2017-08-17 12:59:36
阅读次数：
96
group By操作 map端部分聚合。并不是所有的聚合操作都需要在reduce部分进行，很多聚合操作都可以先在map端进行部分聚合，然后在reduce端得出最终结果。 hive.map.aggr=true，用于设定是否在map端进行聚合，默认为True。hive.groupby.mapaggr.c ...
分类：
其他好文 时间：
2017-08-16 09:55:34
阅读次数：
115
只作为我个人笔记，没有过多解释 Transfor map filter filter之后，依然有三个分区，第二个分区为空，但不会消失 flatMap reduceByKey groupByKey() sortByKey() mapValues(_ + 1) mapvalues是忽略掉key，只把va ...
分类：
其他好文 时间：
2017-08-10 23:36:42
阅读次数：
314
1 #region table去重复求和 2 var query = dt.Rows.Cast() 3 .OrderByDescending(n => n["OPERATION_TIME"]) 4 .GroupBy( 5 ... ...
分类：
编程语言 时间：
2017-08-08 10:53:15
阅读次数：
259
本篇继续LINQ Operators的介绍，这里要讨论的是LINQ中的排序和分组功能。LINQ的排序操作符有：OrderBy, OrderByDescending, ThenBy, 和ThenByDescending，他们返回input sequence的排序版本。分组操作符GroupBy把一个平展 ...
分类：
编程语言 时间：
2017-08-04 14:28:14
阅读次数：
250
