Java操作HDFS开发环境搭建在之前我们已经介绍了如何在Linux上进行HDFS伪分布式环境的搭建，也介绍了hdfs中一些常用的命令。但是要如何在代码层面进行操作呢？这是本节将要介绍的内容：1.首先使用IDEA创建一个maven工程：maven默认是不支持cdh的仓库的，需要在pom.xml中配置cdh的仓库，如下：<repositories><repository>&l
分类：
编程语言 时间：
2018-03-25 18:08:19
阅读次数：
507
HDFS概述及设计目标什么是HDFS：是Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户×××能不错的文件存储服务，也就是容错性HDFS官方文档地址如下：https://hadoop.
分类：
其他好文 时间：
2018-03-24 21:26:24
阅读次数：
159
全小白式0起步详细教程。从安装虚拟机、下载配置JDK、安装配置Hadoop、使用SSH免密登录远程终端、成功运行全流程。 ...
分类：
其他好文 时间：
2018-03-21 19:50:51
阅读次数：
463
Mongodb和Memcached不是一个范畴内的东西。Mongodb是文档型的非关系型数据库，其优势在于查询功能比较强大，能存储海量数据。Mongodb 和 Memcached不存在谁替换谁的问题。 Memcached 和 Redis它们都是内存型数据库，数据保存在内存中，通过tcp直接存取，优势 ...
分类：
数据库 时间：
2018-03-15 22:08:17
阅读次数：
170
本文主要介绍了如何在linux上搭建单机/伪分布式hadoop集群，有着详细的操作步骤，读者可以很容易上手，完成Hadoop集群的搭建和体验！ ...
分类：
系统相关 时间：
2018-03-06 14:43:36
阅读次数：
262
之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程，本来这篇文章是打算介绍搭建伪分布式集群的。但是后来想想反正伪分布式和完全分布式差不多，所幸直接介绍完全分布式了。 如果你想自己搭建伪分布式玩的话，参考：在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - ...
分类：
系统相关 时间：
2018-03-06 10:20:02
阅读次数：
279
本文进行操作的虚拟机是在伪分布式配置的基础上进行的，具体配置本文不再赘述，请参考本人博文：http://www.cnblogs.com/VeryGoodVeryGood/p/8507795.html 本文主要参考 给力星的博文——Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/C ...
分类：
系统相关 时间：
2018-03-05 12:52:10
阅读次数：
253
zookeeper是一个分布式应用程序协调系统，主要会提供配置服务，分布式服务，权限服务，锁定功能以及分布式数据同步，今天主要说明一下zookeeper如何搭建伪分布 1. 下载zk程序，并解压，，略。 2. zk需要一个数据存放目录，其实就是zk各个节点存放数据和日志的目录，日志也可以放到其他文件 ...
分类：
其他好文 时间：
2018-03-04 13:08:07
阅读次数：
182
本人现在对zookeeper的环境搭建做一个总结，一般zookeeper的安装部署可以有三种模式，单机模式、伪分布式和分布式，这三种模式在什么时候应用具体看大家的使用场景，如果你只有一台机器且只是想自己开发测试时用，你可以安装个单机模式，简单又实用。如果想装逼但又没有足够的机器，那你可以选择伪分布式 ...
分类：
系统相关 时间：
2018-02-11 19:57:38
阅读次数：
166
