查询语法
1.匹配所有文档:*:*
2.强制、阻止和可选查询:
1) Mandatory:查询结果中必须包括的(forexample, only entry name containing the word make)
Solr/LuceneStatement:+make,+make +up ,+make +up +kiss
2) prohibited:(...
分类:
其他好文 时间:
2015-05-25 18:53:35
阅读次数:
180
流分组
在设计一个topology的时候,你需要做的最重要的事情是定义数据在组件之间怎样交换(流怎样被bolts消费)。流分组指定了每个bolt消费哪些流和这些流被怎样消费。
一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。
正如我们在第二章看到的,当topology被定义的时候流分组就被设置好了:
...
builder.setBolt("word-normal...
分类:
其他好文 时间:
2015-05-25 18:46:40
阅读次数:
151
集群模式的配置
为了确保ZooKeeper服务的稳定与可靠性,通常是搭建成一个ZK集群来对外提供服务。关于ZooKeeper,需要明确一个很重要的特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的(本文下面就用―过半存活即可用‖来代替这个特性吧^-^)。正是基于这个特性,建议是将ZK集群的机器数量控制为奇数较为合适。为什么选择奇数台机器,我们可以来看一下,假如是4台机器构成的...
分类:
其他好文 时间:
2015-05-25 18:46:23
阅读次数:
124
Pig是作为客户端运行的程序,你需要将其连接到本地Hadoop或者集群上。当安装Pig之后,有三种执行pig程序的方法:pig脚本 (将程序写入.pig文件中),Grunt(运行Pig命令的交互式shell环境)和嵌入式方式。
records = Load ‘sample.txt’ as (year:chararray, temperature:int, quality:int);
f...
分类:
其他好文 时间:
2015-05-25 18:45:18
阅读次数:
151
Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)
前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了Hadoop MapReduce部分的应用API,用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的,目前MapReduce框架还是使用老系统(参考补丁HADOOP-1230)。下面我们来分...
分类:
其他好文 时间:
2015-05-25 16:51:35
阅读次数:
146
HDFS的体系框架是Master/Slave结构,一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器,负责文件系统的名字空间的操作,比如打开、关闭、重命名文件或目录,它负责维护文件路径到数据块的映射,数据块到DataNode的映射,以及监控DataNode的心跳和维护数据块副本的个数。集群中的DataNode一般是一个节点一个,负责管理它所在节...
分类:
其他好文 时间:
2015-05-25 16:46:16
阅读次数:
94
Redis 的 master/slave 数据复制方式可以是一主一从或者是一主多从的方式,Redis 在 master 是非阻塞模式,也就是说在 slave 执行数据同步的时候,master 是可以接受客户端的
请求的,并不影响同步数据的一致性,然而在 slave 端是阻塞模式的,slave 在同步 master 数据时,并不能够响应客户端的查询
Redis 的 master/slave...
分类:
其他好文 时间:
2015-05-25 16:36:19
阅读次数:
146
1)配置
当你调用create方法时将会加载两个配置文件:hbase-default.xml and hbase-site.xml,利用的是当前的java类路径,
代码中configuration设置的这些配置将会覆盖hbase-default.xml和hbase-site.xml中相同的配置,如果两个配置文件都存在并且都设置好了相应参上面的属性下面的属性即可
2)关于...
分类:
其他好文 时间:
2015-05-25 16:34:53
阅读次数:
120
接下来我们按照MapReduce过程中数据流动的顺序,来分解org.apache.hadoop.mapreduce.lib.*的相关内容,并介绍对应的基类的功能。首先是input部分,它实现了MapReduce的数据输入部分。类图如下:类图的右上角是InputFormat,它描述了一个MapReduceJob的输入,通过InputFormat,H..
分类:
其他好文 时间:
2015-05-22 19:43:08
阅读次数:
133
1.取整函数:round语法:round(doublea)返回值:BIGINT说明:返回double类型的整数值部分(遵循四舍五入)举例:hive>selectround(3.1415926)fromlxw_dual;3hive>selectround(3.5)fromlxw_dual;4hive>createtablelxw_dualasselectround(9542.158)fromlxw_dual;hive>des..
分类:
其他好文 时间:
2015-05-22 19:39:39
阅读次数:
187