一、背景 最近由于项目和论文的需要，需要搭建一个垂直搜索的环境，查阅了很多资料，决定使用Apache的一套解决方案hadoop+hbase+nutch+es。这几样神器的作用就不多作介绍了，自行参考各类百科就行了。我选择这样的方案主要是基于以下考虑： 1、可扩展，虽然一、背景最近由于项目和论文的需要...
分类：
其他好文 时间：
2015-03-19 06:17:22
阅读次数：
110
一、zk单独搭建 1.修改配置文件：conf/zoo.cfgJava代码tickTime=2000dataDir=/home/hadoop/data/zookeeperclientPort=2181initLimit=5syncLimit=2server.1=slave-01:2888:3888se...
分类：
其他好文 时间：
2015-03-18 23:10:36
阅读次数：
144
Hadoop 安全性 HBase运行在Hadoop 0.20.x上，就可以使用其中的安全特性 -- 只要你用这两个版本0.20S 和CDH3B3，然后把hadoop.jar替换掉就可以了. 1.3.1.3.?ssh 必须安装ssh?，?sshd?也必须运行，这样Hadoop的...
分类：
其他好文 时间：
2015-03-18 16:09:13
阅读次数：
97
HBase运行在Hadoop 0.20.x上，就可以使用其中的安全特性 -- 只要你用这两个版本0.20S 和CDH3B3，然后把hadoop.jar替换掉就可以了....
分类：
其他好文 时间：
2015-03-18 15:59:36
阅读次数：
143
Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完...
分类：
其他好文 时间：
2015-03-18 07:54:00
阅读次数：
401
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如...
分类：
其他好文 时间：
2015-03-17 21:50:22
阅读次数：
155
1.HBase(NoSQL)的数据模型1.1 表(table)，是存储管理数据的。1.2 行键(row key)，类似于MySQL中的主键。 行键是HBase表天然自带的。1.3 列族(column family)，列的集合。 HBase中列族是需要在定义表时指定的，列是在插入记录时动态...
分类：
其他好文 时间：
2015-03-17 20:08:30
阅读次数：
149
一、HBase基本概念1、Row key 行主键，在对HBase进行查询时候只能依靠Row key，HBase不支持条件查询等类似于一些主流数据库的查询方式，读取记录只能依赖行主键以及进行全局扫面，可以将行主键想象成主流数据库查询过程中用到的主键（例如，id）。2、Column Family 列.....
分类：
其他好文 时间：
2015-03-17 19:45:43
阅读次数：
122
基本理念：尽可能的参考官方英文文档Hadoop: http://wiki.apache.org/hadoop/FrontPageHBase: http://hbase.apache.org/book.html Zookeeper: https://cwiki.apache.org/confluenc...
分类：
系统相关 时间：
2015-03-15 21:06:17
阅读次数：
263
1.先说说什么是Hadoop？ 个人理解：一个分布式文件存储系统+一个分布式计算框架，在其上还有很多的开源项目来丰富他的功能，如Hbase,hive等等。官方：Hadoop是一个用Java编写的开源系统，可安排在大规模的计算平台上，从而提高计算效率。本质上它只是一个海量数据处理平台架构。2.Had....
分类：
其他好文 时间：
2015-03-13 22:16:15
阅读次数：
213
