大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花很多的时间去介绍HDFS的背景,毕竟大家对文件系统的还是有一定的理解的,而且也有很好的文档。在分析Hadoop的MapReduce部分前,我们还是先了解系统是如何工作的,然后再进入我们的分析部分。下面的图来自http://horicky.b..
分类:
其他好文 时间:
2015-06-05 22:59:08
阅读次数:
180
超人学院Hadoop大数据资源分享-----数据结构与算法(java解密版) http://yunpan.cn/cw5avckz8fByJ ???访问密码 b0f8 更多精彩内容请关注:http://bbs.superwu.cn 关注超人学院微信二维码:?? 关注超人学院j...
分类:
其他好文 时间:
2015-06-05 18:02:42
阅读次数:
110
大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花很多的时间去介绍HDFS的背景,毕竟大家对文件系统的还是有一定的理解的,而且也有很好的文档。在分析Hadoop的MapReduce部分前,我们还是先了解系统是如何工作的,然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation....
分类:
其他好文 时间:
2015-06-05 17:40:20
阅读次数:
118
返回类型
函数
说明
bigint
count(*) , count(expr), count(DISTINCT expr[, expr_., expr_.])
返回记录条数。
double
sum(col), sum(DISTINCT col)
...
分类:
其他好文 时间:
2015-06-05 17:39:48
阅读次数:
151
隐含参数
隐含参数列表(implicit p1,...,pn)将参数p1,...,pn标记为隐含的。一个方法或构造器仅能有一个隐含参数列表,且必须是给出的参数列表的最后一个。
具有隐含参数列表的方法可以像正常方法一样应用到参量上。这种情况下implicit标识符没有作用。然而如果该方法没有隐含参数列表中的参量,对应的参量会自动提供。
有两种情况实体参量可以传递给类型为T隐含参数。首先,所有的...
分类:
其他好文 时间:
2015-06-05 17:39:30
阅读次数:
130
整个流程大体如下:
创建 thinpool
// This is theprogrammatic example of "dmsetup create"
funccreatePool(poolName string, dataFile, me...
分类:
移动开发 时间:
2015-06-05 17:39:09
阅读次数:
552
在不同版本hdfs集群之间转移数据
最简单的办法就是把src集群的数据导到本地,然后起另一个进程将本地数据传到des集群上去。
不过这有几个问题:
效率降低
占用本地磁盘空间
不能应付实时导数据需求
两个进程需要协调,复杂度增加
更好的办法是在同一个进程内一边读src数据,一边写des集群。不过这相当于...
分类:
其他好文 时间:
2015-06-05 17:38:17
阅读次数:
226
配置参考solrConfig.xml
中solrConfig.xml中已做详细解释,或者参考5.3
-->
4.7
100000
1024
class="solr.LRUCache"
...
分类:
其他好文 时间:
2015-06-05 17:36:05
阅读次数:
162
redis是一个cs模式的tcp server,使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常 会阻塞并等待redis服务处理,redis处理完后请求命令后会将结果通过响应报文返回给client。基本的通信过程如下
Client: INCR X
Server: 1
Client: INCR X
Server...
分类:
其他好文 时间:
2015-06-05 17:35:47
阅读次数:
158
说明快速排序法(quick sort)是目前所公认最快的排序方法之一(视解题的对象而定),虽然快速排序法在最差状况下可以达O(n2),但是在多数的情况下,快速排序法的效率表现是相当不错的。
快速排序法的基本精神是在数列中找出适当的轴心,然后将数列一分为二,分别对左边与右边数列进行排序,而影响快速排序法效率的正是轴心的选择。这边所介绍的第一个快速排序法版本,是在多数的教科书上所提及的版本,因为它最...
分类:
编程语言 时间:
2015-06-05 17:35:29
阅读次数:
116