一、HDFS伪分布式环境搭建 Hadoop的三种运行模式（启动模式） -格式化文件系统 -格式化文件系统 HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用操作系统中的文件系统一样，用户无需关心底层是如何存储数据的。而在底层，一个文件会被分成一个或多个数据块，这些数据库块 ...
分类：
其他好文 时间：
2018-05-09 19:25:57
阅读次数：
203
1、需要6个redis实例 2、创建redis-cluster，拷贝6份，安装生成得bin 3、修改配置文件 打开cluster-enabled yes前面得注释 port 分别为7001，7002，7003，7004，7005，7006 bind 改为当前IP protected-mode 是Re ...
分类：
数据库 时间：
2018-04-22 16:03:42
阅读次数：
158
一、HDFS伪分布式环境搭建 Hadoop的三种运行模式（启动模式） -格式化文件系统 -格式化文件系统 HDFS公开了文件系统名称空间，允许用户将数据存储在文件中，就好比我们平时使用操作系统中的文件系统一样，用户无需关心底层是如何存储数据的。而在底层，一个文件会被分成一个或多个数据块，这些数据库块 ...
分类：
其他好文 时间：
2018-04-17 11:46:48
阅读次数：
198
（一）、HDFS shell操作 1.2查看文件系统的根目录 1.3.将刚刚创建的文件拷贝到文件系统的根目录下： 1.4.查看文件内容： 1.5创建目录 1.6递归创建目录 1.7查看递归目录 1.8复制文件 1.9从系统中拿出文件 2.0删除文件 2.1删除目录 以上就是最为常用的一些操作命令了， ...
分类：
其他好文 时间：
2018-04-17 11:31:04
阅读次数：
166
一、HDFS伪分布式环境搭建Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实
分类：
其他好文 时间：
2018-04-07 12:51:45
阅读次数：
183
HDFS概述及设计目标什么是HDFS：是Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户×××能不错的文件存储服务，也就是容错性HDFS官方文档地址如下：https://hadoop.
分类：
其他好文 时间：
2018-03-24 21:26:24
阅读次数：
159
0.前言前面一篇《Hadoop初体验：快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境，现在就使用Hadoop自带的wordcount程序来做单词统计的案例。1.使用示例程序实现单词统计（1）wordcount程序wordcount程序在hadoop的share目录下，如下：[root@leafmapreduce]#pwd
/usr/loca..
分类：
其他好文 时间：
2017-09-03 23:54:37
阅读次数：
229
1、安装hadoop环境，以hadoop-2.5.0版本为例，搭建伪分布式环境，所需要工具包提供网盘下载：http://pan.baidu.com/s/1o8HR0Qu 2、上传所需要的工具包到linux相对就应的目录中 3、接上篇(Linux基础环境的各项配置(三)中最后一部分，需卸载系统自带的j ...
分类：
其他好文 时间：
2017-07-19 18:29:44
阅读次数：
187
1、检查网络配置[root@hadoop-master ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-masterGATEWAY=192.168.126.2 [root@hadoop-master ~]# cat /etc/h ...
分类：
其他好文 时间：
2017-01-30 22:45:03
阅读次数：
296
