1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一
分类：
其他好文 时间：
2019-08-28 17:08:14
阅读次数：
87
Sqoop 数据迁移工具 sqoop : SQL to hadOOP 两个功能: 1、 RDB 向HDFS导入 2、 HDFS向RDB导入 注：拷贝mysql-connector.jar 和 json.jar 到sqoop/lib目录下 HDFS导入使用 命令很长，一般写成shell脚本。（运行需要 ...
分类：
其他好文 时间：
2019-08-28 15:57:39
阅读次数：
87
HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类：
其他好文 时间：
2019-08-28 09:14:04
阅读次数：
87
好程序员大数据学习路线Hadoop学习干货分享，ApacheHadoop为可靠的，可扩展的分布式计算开发开源软件。ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：HadoopCommon：支持其他Hadoop模块的常用工具。Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量
分类：
其他好文 时间：
2019-08-27 17:06:02
阅读次数：
85
HBase 一、简介 Hbase是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库 。 是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。 HBase 是Google Bigtable 的开源实现，与Google Bigtab ...
分类：
其他好文 时间：
2019-08-26 15:09:39
阅读次数：
77
HDFS存储方式： 将用户的文件分块，分散在多台主机上，同时每个块又有多个备份，多个备份不会出现在一台主机上，以确保即使一台主机出现问题，文件的访问依然正常。但是由于用户访问文件用的是一个路径指向一个文件，而具体的文件是被分块的，所以对于文件具体存储和路径之间存在映射关系，这个映射关系由nameno ...
分类：
其他好文 时间：
2019-08-26 00:30:06
阅读次数：
74
一.简介 Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库，具有实时、批处理、多并发的优点。是CDH平台首选的PB级大数据实时查询分析引擎。 二.优点 1.基于内存计算，能够对PB级别数据进行交互式实时查询、分析 ...
分类：
其他好文 时间：
2019-08-25 18:15:17
阅读次数：
76
HDFS配置 参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html Hadoop配置文件修改 hdfs-site.xml <property> <name>dfs.webhdfs.enabled</nam ...
分类：
其他好文 时间：
2019-08-25 13:58:16
阅读次数：
96
一、如何检查namenode是否正常运行?重启namenode的命令是什么? 通过节点信息和浏览器查看，通过脚本监控 hadoop-daemon.sh start namenode hdfs-daemon.sh start namenode 二、hdfs存储机制是怎样的? 1) client端发送写 ...
分类：
其他好文 时间：
2019-08-25 13:46:52
阅读次数：
943
HIVE配置 修改hue.ini配置文件 [beeswax] hive_server_host=node1 hive_server_port=10000 hive_conf_dir=/usr/hive-1.2.1/conf 重启HUE build/env/bin/supervisor 启动hdfs和 ...
分类：
其他好文 时间：
2019-08-25 13:45:36
阅读次数：
95
