层层递进-解开hdfs的面纱 1、hdfs是什么？它与普通服务器的文件系统有什么区别？它的特性有什么？ 2、hdfs的工作原理是怎样的？ 3、每台机器都单独启动有什么弊端？假设有1000台机器需要启动？该怎么解决呢？ 4、hdfs配置与使用 5、利用javaApi充当客户端访问hdfs hdfs简介 ...
分类：
其他好文 时间：
2017-05-06 23:07:33
阅读次数：
325
摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题 ...
分类：
数据库 时间：
2017-04-12 18:41:35
阅读次数：
2825
通过java程序访问hdfs: hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面， 由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。 修改core-site.xml(在所 ...
分类：
编程语言 时间：
2017-04-05 16:19:45
阅读次数：
183
最近工作中是做了一个handoop的hdfs系统的文件浏览器的功能，是利用webhdfs提供的rest api来访问hdfs来与hdfs进行交互的，其中大量使用HttpClient，之前一直很忙，没什么时间来总结，今天闲下来了，可以来好好总结一下这个东西了。 1.HttpClient简介 http协 ...
分类：
Web程序 时间：
2016-11-24 08:28:04
阅读次数：
243
记一次完全独立完成的统计分析系统的搭建过程，主要用到了PHP+Hadoop+Hive+Thrift+Mysql实现 安装 Hadoop安装: http://www.powerxing.com/install-hadoop/Hadoop集群配置: http://www.powerxing.com/in ...
分类：
Web程序 时间：
2016-11-23 16:36:45
阅读次数：
489
RHadoop是由Revolution Analytics发起的一个开源项目，它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages，分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。下载网址为 ...
分类：
其他好文 时间：
2016-10-25 22:03:41
阅读次数：
428
客户端需要指定ns名称，节点配置，ConfiguredFailoverProxyProvider等信息。 代码示例： ...
分类：
编程语言 时间：
2016-09-13 19:20:34
阅读次数：
369
HadoopLocal(Standalone)Mode（单机版）的安装纯粹只是为练手，练完了单机版，下面该练练Pseudo-DistributedMode（伪分布式版）的安装了。伪分布式是在一台物理机上模拟实现了hadoop的全部功能。包括ssh访问、hdfs格式化、mapReduce执行、yarn资源管理等，伪分布式安装是单机版..
分类：
其他好文 时间：
2016-07-01 23:04:55
阅读次数：
331
第六章 HDFS概述
6.1.2 HDFS体系结构
HDFS采用主从结构，NameNode(文件系统管理者，负责命名空间，集群配置，数据块复制),
DataNode(文件存储的基本单元，以数据块形式保存文件内容和数据块的数据校验信息，执行底层数据块IO操作),
Client(和名字节点，数据节点通信，访问HDFS文件系统，操作文件),
SecondaryNameNode
1、数据块...
分类：
其他好文 时间：
2016-06-24 15:46:18
阅读次数：
170
数据导入 ./hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名 数据文件位置hdfs数据文件位置 可以加 前缀 file:/// 否则 会访问 hdfs 地址。 数据导出./hbase org.apache.hadoop.hbase.m ...
分类：
系统相关 时间：
2016-05-20 15:59:29
阅读次数：
228
