MapReduce是用于数据处理的一种编程模型,简单但足够强大,专门为并行处理大数据而设计。1. 通俗理解MapReduceMapReduce的处理过程分为两个步骤:map和reduce。每个阶段的输入输出都是key-value的形式,key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理,处理结果传输给reduce,由reduce函数完成最后的汇总。例如从大量历史数据中找出往年...
分类:
其他好文 时间:
2016-07-17 00:54:41
阅读次数:
179
抽象方法模式:提供一个创建一系列相关或互相依赖对象的接口,而无需指定他们具体的类。
三种模式的对比:
简单工厂模式
工厂模式
抽象工厂模式
产品
可以有多个但是都属于同一类,
同一等级。都继承产品抽象类。
可以有多个但是都属于同一类,同一等级。
都继承产品抽象类。
可以有不同种类的产品,每类有多中
具体产品;
抽象产品
只能有...
分类:
其他好文 时间:
2016-07-16 23:53:22
阅读次数:
396
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式
例如:
[plain] view
plain copy
> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t...
分类:
其他好文 时间:
2016-07-16 23:51:49
阅读次数:
420
webpack是什么Webpack 是一个模块打包器。它将根据模块的依赖关系进行静态分析,然后将这些模块按照指定的规则生成对应的静态资源。这张图基本上解释了webpack是用来干嘛的,将一些相互依赖的模块(文件),打包成一个或多个js文件,减少http请求次数,提升性能。这些相互依赖的模块可以是图片、字体、coffee文件、样式文件、less文件等。1、 安装先安装install node.js...
分类:
Web程序 时间:
2016-07-16 23:41:26
阅读次数:
324
/*1,模拟一个trim方法,去除字符串两端的空格。 思路: 1,判断字符串第一个位置是否是空格,如果是继续向下判断,直到不是空格为止。 结尾处判断空格也是如此。 2,当开始和结尾都判断到不是空格时,就是要获取的字符串。2,将一个字符串进行反转。将字符串中指定部分进行反转,"abcdefg";abf ...
分类:
其他好文 时间:
2016-07-16 23:04:44
阅读次数:
196
对于MVC框架,参数绑定一直觉得是很神奇很方便的一个东西,在参数绑定的过程中利用了属性编辑器、类型转换器 参数绑定流程 参数绑定:把请求中的数据,转化成指定类型的对象,交给处理请求的方法 请求进入到DisptacherServlet,卸下请求中的数据 DisptacherServlet将请求中的数据 ...
分类:
编程语言 时间:
2016-07-16 22:42:53
阅读次数:
461
vim在内存缓冲区中处理数据 如果在启动vim时未指定文件名,或者这个文件不存在,vim会新开一段缓冲区来编辑。 h 左移一个字符 j 下移一行 k 上移一行 l 右边移一个字符 PageDown(Ctrl+F) 下翻一屏数据 PageUp(Ctrl+B) 上翻一屏 G 移动到缓冲区最后一行 num ...
分类:
系统相关 时间:
2016-07-16 22:10:43
阅读次数:
218
在学习爬虫的过程了解到了在访问服务器时,有两种请求的方式,Post方式和Get方式 Post方式:向指定的资源提交要被处理的数据 Get方式:从指定的资源请求数据。 GET 方法 请注意,查询字符串(名称/值对)是在 GET 请求的 URL 中发送的: 有关 GET 请求的其他一些注释: GET 请 ...
分类:
其他好文 时间:
2016-07-16 21:40:18
阅读次数:
227
1.HashSet 在存储东西的时候,先利用hashCode计算出Hash值,之后存到哈希表中,如果哈希表中的这个位置已经存在了元素,再调用equals方法,检验这个新进入的元素是否与之前的元素是同一对象 2.TreeSet 在存储一个对象的时候,需要指定比较规则才能存进去! 需要利用Compara ...
分类:
其他好文 时间:
2016-07-16 21:29:25
阅读次数:
191
Oracle数据库语句大全 ORACLE支持五种类型的完整性约束 NOT NULL (非空)--防止NULL值进入指定的列,在单列基础上定义,默认情况下,ORACLE允许在任何列中有NULL值. CHECK (检查)--检查在约束中指定的条件是否得到了满足. UNIQUE (唯一)--保证在指定的列 ...
分类:
数据库 时间:
2016-07-16 20:02:49
阅读次数:
334