Docker底层存储结构 由于aufs并未并入内核，故而目前只有Ubuntu系统上能够使用aufs作为docker的存储引擎，而其他系统上使用lvm thin provisioning（overlayfs是一个和aufs类似的union filesystem，未来有可能进入内核，但目前还没有；Lvm
snapshot are useful for doing e.g. backup of a ...
分类：
其他好文 时间：
2015-05-27 19:13:22
阅读次数：
397
我们在这文章将要学习Scala的最后一个特性是泛型。Java程序员们可能最近才知道这个东西，因为这个特性是在Java1.5中才被加入的。
泛型是一种可以让你使用类型参数的设施。例如当一个程序员正在实现一个链表时，将不得不面对诸如如何决定链表中节点保存数据的类型之类的问题。正由 于这是一个链表，所以往往会在不同的环境中使用，因此，我们不能草率的决定节点数据类型，比如说Int。这种决定是相当的草率且...
分类：
其他好文 时间：
2015-05-27 19:12:03
阅读次数：
261
1.1 Sqoop内部结构
本节介绍Sqoop的内部结构。
Sqoop程序是由的主类com.cloudera.sqoop.Sqoop驱动。有限数量的额外的类在同一个包：SqoopOptions （如前所述），ConnFactory（即熟练操作ManagerFactory实例）。
1.1.1 一般程序流程
一般的程序流程如下：
com.cloudera.sqoop.Sqoop是主类...
分类：
其他好文 时间：
2015-05-27 19:11:28
阅读次数：
169
在我们使用网页搜索时，会注意到每一个结果都包含一个 “相似页面” 链接，单击该链接，就会发布另一个搜索请求，查找出与起初结果类似的文档。Solr 使用 MoreLikeThisComponent（MLT）和 MoreLikeThisHandler 实现了一样的功能。如上所述，MLT 是与标准 SolrRequestHandler 集成在一起的；MoreLikeThisHandler 与 MLT 结...
分类：
其他好文 时间：
2015-05-27 19:10:36
阅读次数：
123
一、Redis提供了哪些持久化机制：
1). RDB持久化：
该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。
2). AOF持久化:
该机制将以日志的形式记录服务器所处理的每一个写操作，在Redis服务器启动之初会读取该文件来重新构建数据库，以保证启动后数据库中的数据是完整的。
3). 无持久化：
我们可以通过配置的方式禁用Redis服务器的持久化功能，这样我们就可以将Re...
分类：
其他好文 时间：
2015-05-27 19:10:32
阅读次数：
152
hbase提供了一个shell的终端给用户交互。使用命令hbaseshell进入命令界面。通过执行 help可以看到命令的帮助信息。
以网上的一个学生成绩表的例子来演示hbase的用法。
name
grad
course
math
art
T...
分类：
系统相关 时间：
2015-05-27 19:09:39
阅读次数：
389
用户自定义函数（UDF）
public abstract class EvalFunc {
public abstract T exec(Tuple input) throws IOException;
public List getAvgToFuncMapping() throws FrontendException;
public FuncSpec outp...
分类：
其他好文 时间：
2015-05-27 19:09:35
阅读次数：
112
数据模型(DataModel)storm使用tuple来作为它的数据模型。每个tuple是一堆值，每个值有一个名字，并且每个值可以是任何类型，在我的理解里面一个tuple可以看作一个没有方法的java对象。总体来看，storm支持所有的基本类型，字符串以及字节数组作为tuple的值类型。你也可以使用你..
分类：
其他好文 时间：
2015-05-26 19:05:57
阅读次数：
103
并行处理： 可以在很多语句中指定reducer的数量
group, join, cogroup, cross, distinct, order
(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)
参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-param input=”设置变量的值，
或者通过"-param_f...
分类：
其他好文 时间：
2015-05-26 18:56:02
阅读次数：
123
因为 Solr 包装并扩展了Lucene，所以它们使用很多相同的术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对 Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。在 Solr 和 Lucene 中，使用一个或多个 Document 来构建索引。Document包括一个或多个 Field。Fi...
分类：
其他好文 时间：
2015-05-26 18:55:02
阅读次数：
174
