hive on spark 的配置及设置CDH都已配置好，直接使用就行，但是我在用的时候报错，如下： 具体操作如下时报的错： 在hive 里执行以下命令： set hive.execution.engine=spark; //set hive.execution.engine=mr; create ...
分类：
其他好文 时间：
2018-09-19 12:23:00
阅读次数：
154
In this page, I will explain the following important MR concepts. 1) Job: how the job is inited , executed. 2) MR components: How they work to process ...
分类：
其他好文 时间：
2018-09-18 22:45:46
阅读次数：
203
首先Hive的底层首先是MR,是属于批处理处理时间相对较长，不属于实时读写。在其架构上HBase和Hive有很大的区别. 架构介绍： Hive架构 –(1)用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive ...
分类：
其他好文 时间：
2018-09-17 17:44:50
阅读次数：
117
/// /// 小数保留位数处理 /// /// 值 /// 保留位数 /// 数学舍入方法 /// public static decimal MathRound(decimal value, int digitNum,MidpointRounding MR) { return Math.Roun... ...
MapReduce MapReduce原理非常重要，hive与spark都是基于MR原理 MapReduce采用多进程，方便对每个任务资源控制和调配，但是进程消耗更多的启动时间，因此MR时效性不高。适合批量，高吞吐的数据处理。Spark采用的是多线程模型。 MapReduce执行流程 Map过程 m ...
分类：
其他好文 时间：
2018-09-14 01:14:05
阅读次数：
1227
D - Mr. Kitayuta's Colorful Graph 思路：我是暴力搞过去没有将答案离线，感觉将答案的离线的方法很巧妙。。 对于一个不大于sqrt(n) 的块，我们n^2暴力枚举， 对于大于sqrt(n)的块，我们暴力枚举答案。 这样就能做到严格sqrt(n) * n ...
分类：
其他好文 时间：
2018-09-13 14:02:25
阅读次数：
129
本篇文档学习，DG备库，实时应用如何判断，MR进程，及MRP应用归档，三种情况的查询及验证 1.取消MRP进程 备库查询进程状态select process,client_process,sequence#,status,BLOCK#,BLOCKS from v$managed_standby;PR ...
分类：
系统相关 时间：
2018-09-05 18:06:33
阅读次数：
497
MapReduce简介 MapReduce的原理图 2.MR原理图 根据代码简单了解MR。 代码简单解析： 根据执行流程图我们不难发现，首先我们从Mapper下手，然后着手Reducer,而Reducer的key(in),value(in)，肯定是Mapper的key(out),value(out) ...
分类：
其他好文 时间：
2018-09-04 23:30:50
阅读次数：
230
Nice to meet you. 你好 打招呼： hi，hello 重点： 打招呼和互相介绍、主系表结构 Is Chang-woo Chinese？ 昌武是中国人吗？ No，he isn't . He's Korean. Mr. 先生 sir: 也是"先生"的意思 Mr.: 后面加上这位先生的姓氏 ...
分类：
其他好文 时间：
2018-08-26 20:47:39
阅读次数：
223
【题目描述】 7月17日是Mr.W的生日，ACM THU为此要制作一个体积为Nπ的M层生日蛋糕，每层都是一个圆柱体。 设从下往上数第i(1 Ri+1且Hi Hi+1。 由于要在蛋糕上抹奶油，为尽可能节约经费，我们希望蛋糕外表面（最下一层的下底面除外）的面积Q最小。 令Q = Sπ 请编程对给出的N和 ...
分类：
其他好文 时间：
2018-08-24 23:42:58
阅读次数：
282
