码迷,mamicode.com
首页 >  
搜索关键字:hadoop nutch hbase    ( 16575个结果
HBase 查找版本号
直接用hbase shell命令进入shell的时候就会显示版本号:进入shell后,键入version命令,也可以查看版本号:# hbase shell HBase Shell; enter 'help' for list of supported commands. Type "exit" to leave the HBase Shell Version 0.94.7, r1471806, W...
分类:其他好文   时间:2014-08-10 18:48:00    阅读次数:263
hadoop完全分布式模式的安装和配置
本文是将三台电脑用路由器搭建本地局域网,系统为centos6.5,已经实验验证,搭建成功。一、设置静态IP&修改主机名&关闭防火墙(all-root)(对三台电脑都需要进行操作)0.将三台电脑安装centos6.5系统1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信...
分类:其他好文   时间:2014-08-10 15:29:40    阅读次数:312
利用Solr服务建立的界面化站内搜索---solr2
本篇主要通过利用nutch爬取的页面,并将索引写入solr服务器中,结合solrj的api编写界面化的搜索界面,包括高亮和搜索的规则和关键字的设置,点击搜索实现指定规则或是关键字的搜索并呈现搜索结果。
分类:其他好文   时间:2014-08-10 12:54:40    阅读次数:218
基于MySQL元数据的Hive的安装和简单测试
Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。...
分类:数据库   时间:2014-08-10 01:50:39    阅读次数:449
Hive基础之Hive是什么以及使用场景
Hive是什么1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;4)允许用Java开发自...
分类:其他好文   时间:2014-08-09 23:10:49    阅读次数:288
从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,认为它们非常是神奇,而神奇的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,认为Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到...
分类:其他好文   时间:2014-08-09 18:40:08    阅读次数:297
(3)windows下hadoop+eclipse环境搭建
(1)环境说明 hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。 (2)安装hadoop-eclipse-plugin-1.1.2.jar插件 hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。 下载好后,将ha...
分类:Windows程序   时间:2014-08-09 11:35:37    阅读次数:318
nutch相关异常
1、在任务一开始运行,注入Url时即出现以下错误。 InjectorJob: Injecting urlDir: urls  InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.  InjectorJob: java.lang.RuntimeException: j...
分类:其他好文   时间:2014-08-09 00:18:16    阅读次数:252
Cloudera hadoop-2.3.0-cdh5.1.0 在Centos 6.5 下的安装
安装前准备 1.  虚拟机3个,安装Centos 6.5, 内存设置为4GB  2.  配置yum源为163(不配置,在安装软件时,慢的要死) 3. 关闭防火墙( iptables),disabled SELinux 4. 配置静态IP,并在/etc/hosts中将Hadoop集群中的主机名加进去 安装  1. 在Cloudera官网上下载 cloudera-manager-i...
分类:其他好文   时间:2014-08-09 00:12:07    阅读次数:313
hadoop2.4.1的ftp服务器搭建
把本地文件上传到hadoop的hdfs-over-ftp...
分类:其他好文   时间:2014-08-08 21:22:26    阅读次数:303
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!