码迷,mamicode.com
首页 >  
搜索关键字:hadoop nutch hbase    ( 16575个结果
Hbase0.98.4/Hadoop2.4.1整合小结
设定hbase的数据目录,修改conf/hbase-site.xml hbase.cluster.distributed true The mode the clusterwill be in. Possible values are ...
分类:其他好文   时间:2014-08-01 18:30:52    阅读次数:202
Hadoop 2.4.1 Map/Reduce小结
看了下MapReduce的例子。再看了下Mapper和Reducer源码,理清了参数的意义,就o了。public class Mapperpublic class Reducer Map是打散过程,把输入的数据,拆分成若干的键值对。Reduce是重组的,根据前面的键值对,重组数据。 自己写M...
分类:其他好文   时间:2014-08-01 15:34:21    阅读次数:205
hadoop的dfs工具类一个
开始没搞定插件问题,就弄了个dsf操作类,后面搞定了插件问题,这玩意也就聊胜于无了,还是丢这里算了。 首先是一个配置,ztool.hadoop.propertieshadoop.home.dir=G:/hadoop/hadoop-2.4.1hadoop.user.name=hadoophado...
分类:其他好文   时间:2014-08-01 15:30:21    阅读次数:240
Hadoop学习笔记(二)——zookeeper使用和分析
分布式架构是中心化的设计,就是一个主控机连接多个处理节点,因此保证主控机高可用性十分关键.分布式锁是解决该问题的较好方案,多主控机抢一把锁.Zookeeper就是一套分布式锁管理系统,用于高可靠的维护元数据....
分类:其他好文   时间:2014-08-01 13:50:51    阅读次数:230
windows 7使用eclipse下hadoop应用开发环境搭建
因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多...
分类:Windows程序   时间:2014-08-01 13:38:21    阅读次数:296
Nutch Solrj高亮显示
后台: 检索条件必须放到query中,不能设置到fq中 //编辑queryStr; SolrQuery?query?=?new?SolrQuery(queryStr); query.setHighlight(true);?//?开启高亮组件 query.addHighlightField("title");//?高亮...
分类:其他好文   时间:2014-07-31 21:24:58    阅读次数:233
Hadoop 2.4.1 设置问题小结
先丢点问题小结到这里,免得忘记,有空再弄个详细教程完,网上的教程要不就是旧版的,要不就是没说到点子上,唉。1.服务器禁用ipV6配置.2.找不到winutils.exe,系统变量设置了HADOOP_HOME也不行,程序中直接设定环境变量,还能省去系统配置,更方便。System.setProperty...
分类:其他好文   时间:2014-07-31 20:38:17    阅读次数:218
详解Hadoop Slots的含义
Slots是Hadoop的一个重要概念。然而在Hadoop相关论文,slots的阐述难以理解。网上关于slots的概念介绍也很少,而对于一个有经验的Hadoop开发者来说,他们可能脑子里已经理解了slots的真正含义,但却难以清楚地表达出来,Hadoop初学者听了还是云里雾里。我来尝试讲解一下,以期...
分类:其他好文   时间:2014-07-31 20:17:27    阅读次数:209
ubuntu12.04下hadoop1.04环境搭建
(1)我的电脑环境 (2)jdk1.6的安装 由于Ubuntu12.04自带了openjdk6,所以,在终端输入java -version后会现实如下提示: 表示jdk已经安装完成了。接下来是配置环境变量。 openjdk6的安装目录是在/usr/lib/jvm下 (3)设置环境变量 #set Java Environment export  JAVA_HOM...
分类:其他好文   时间:2014-07-31 17:00:57    阅读次数:228
初学HBase的几个问题
本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题: 什么是HBase?何时用HBase?与Hive、Pig的区别?HBase的结构为何HBase速度很快?HBase常用的操作有哪些?HBase的一些配置和监控 什么是HBase? HBase,是Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉...
分类:其他好文   时间:2014-07-31 16:59:07    阅读次数:271
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!