码迷,mamicode.com
首页 >  
搜索关键字:hadoop nutch hbase    ( 16575个结果
Hadoop的改进实验(中文分词词频统计及英文词频统计) 博文目录结构
声明: 1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。下面是五个部分....
分类:其他好文   时间:2014-06-07 02:55:09    阅读次数:178
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】
【转自:】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone) 单机模式是Hadoop的默认模式。当.....
分类:其他好文   时间:2014-05-29 01:45:43    阅读次数:374
hadoop的核心思想【转】
【转自】:http://www.superwu.cn/2014/01/10/963/1.1.1. hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不...
分类:其他好文   时间:2014-05-29 01:24:12    阅读次数:284
Hadoop之Pig安装
Pig可以看做是Hadoop的客户端软件,使用Pig Latin语言可以实现排序、过滤、求和、分组等操作。Pig的安装步骤:一、去Pig的官方网站下载。http://pig.apache.org/releases.html#14+April%2C+2014%3A+release+0.12.1+ava...
分类:其他好文   时间:2014-05-28 19:08:51    阅读次数:358
MapReduce的模式、算法和用例
在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces, Combiners, Partitioners,和 sorting。如下图所示。...
分类:其他好文   时间:2014-05-28 16:54:17    阅读次数:342
HBase Java API使用
概括1. 创建、删除及启用禁用表、添加列等都需用到HBaseAdmin,另外需要注意删除,添加列等操作都需要禁用表2. 表中添加数据,查询等都是和HTable相关,如果是多线程的情况下注意用HTablePool3. 插入数据使用Put,可以单行添加也可批量添加4. 查询数据需使用Get,Result...
分类:编程语言   时间:2014-05-28 02:19:21    阅读次数:327
HBase Client API使用入门(二)---查询及过滤器
相关知识创建表插入数据删除等见:http://www.cnblogs.com/wishyouhappy/p/3735077.htmlHBase API简介见:http://www.cnblogs.com/wishyouhappy/p/3753347.html按行、列簇等查询package wish....
分类:Windows程序   时间:2014-05-28 01:43:17    阅读次数:574
Hadoop-1.2.1 Eclipse插件编译
Eclipse开发过程连接Hadoop集群环境,需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop 1.2.1 & EclipseKepler & Windows 7 & JAVA 71、生成插件源码解压Hadoop安装包,找到src\co...
分类:系统相关   时间:2014-05-28 00:39:47    阅读次数:542
hbase源码系列(十五)终结篇&Scan续集-->如何查询出来下一个KeyValue
这是这个系列的最后一篇了,实在没精力写了,本来还想写一下hbck的,这个东西很常用,当hbase的Meta表出现错误的时候,它能够帮助我们进行修复,无奈看到3000多行的代码时,退却了,原谅我这点自私的想法吧。在讲《Get、Scan在服务端是如何处理?》当中的nextInternal流程,它的第一步...
分类:其他好文   时间:2014-05-26 19:44:29    阅读次数:254
hadoop中Text类 与 java中String类的区别
hadoop 中 的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念;字符集: 是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类:编程语言   时间:2014-05-26 16:46:37    阅读次数:398
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!