1. MapReduce的流程图(摘自马士兵老师视频),我们开发的就是其中的这两个(红框)过程。简述一下这个图,input就是我们需要处理的文件(datanode上文件的一个分块);Split就是将这个文件进行拆分,默认的就是按照行来拆分,拆分的结果是一个key-value对,key是这一行起始的位 ...
分类:
编程语言 时间:
2017-09-30 11:29:03
阅读次数:
195
2017年9月1日下班后,邮箱里出现了一封来自MicroFocus的邮件,里面宣布HPE软件部门的分拆和与MicroFocus的合并正式完成。我赶紧打开Arcisght的网页,果然,URL被重定向到了MicroFocus。看到此幕,令我唏嘘不已。想起来,我其实对Arcsight还是比较有感情的。我2001年在联想开始..
分类:
其他好文 时间:
2017-09-29 00:21:34
阅读次数:
378
1,理解: 概念: 分布式:一个业务分拆多个子业务,部署在不同的服务器上。集群:同一个业务,部署在多个服务器上。 区别: 小饭店原来只有一个厨师,切菜洗菜备料炒菜全干。后来客人多了,厨房一个厨师忙不过来,又请了个厨师,两个厨师都能炒一样的菜,这两个厨师的关系是集群。为了让厨师专心炒菜,把菜做到极致, ...
分类:
其他好文 时间:
2017-09-26 11:57:43
阅读次数:
189
资料来源:http://blog.csdn.net/l1028386804/article/details/51097928 【程序1】 题目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第四个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少? 1.程序分析 ...
分类:
编程语言 时间:
2017-09-23 20:22:58
阅读次数:
245
原文地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView# lateral view用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据 ...
分类:
其他好文 时间:
2017-08-31 15:58:27
阅读次数:
179
由于项目优化重构,想将定时任务从quartz单机模式变成集群或分布式的方式。于是,百度了一圈。。。。修修改改。。。用集群的方式部署定时任务,测试可以。。。 集群?分布式?什么区别? 集群:同一个业务,部署在多个服务器上 分布式:一个业务分拆多个子业务,部署在不同的服务器上 或者说 集群:是指在多台不 ...
分类:
其他好文 时间:
2017-08-26 04:51:07
阅读次数:
254
最近在做一个项目,这个项目有个特点,含有众多业务模块,各业务模块间关联内容很少,且公司领导又想达到各模块可快速单独拆分使用的效果(说白了就是公司没钱,想把这个项目做完后,做下拆分,拆分成各个小产品单独销售),于是乎我想到是否可使用Maven来进行模块化开发,将各..
分类:
其他好文 时间:
2017-08-16 15:18:19
阅读次数:
174
这道题让我们实现两数相加,但是不能用加号或者其他什么数学运算符号,那么我们只能回归计算机运算的本质,位操作Bit Manipulation,我们在做加法运算的时候,每位相加之后可能会有进位Carry产生,然后在下一位计算时需要加上进位一起运算,那么我们能不能将两部分拆开呢,我们来看一个例子759+6 ...
分类:
其他好文 时间:
2017-08-04 22:51:12
阅读次数:
213
常用版本号 如 2.0.1 与 2.0.2 相比 2.0.2是比2.0.1要新的 那么该如何对这个版本号进行对比 这里有一个比较简单的实现方案 2.0.1 这种格式可以拆分为多个部分 如这里的2是大版本号,0是子版本号,1是修复版本号 那么我们可以将2.0.1拆分为N部分 拆分N部分后 ,可以通过遍 ...
分类:
编程语言 时间:
2017-08-04 13:56:57
阅读次数:
305
在同一列中,本该分别填入多行中的数据,被填在一行里了,然而在分析的时候,需要拆分成为多行。 今天,我们来介绍将含有多值的内容分拆成多行的几种方法。 ...
分类:
编程语言 时间:
2017-08-01 20:44:13
阅读次数:
1378