在hadoop部署好了之后是不能马上应用的，还要对配置的文件系统进行格式化。 使用命令： 注释：namenode和secondary namenode均需要format。 ...
分类：
其他好文 时间：
2018-01-07 17:25:12
阅读次数：
142
大家都知道namenode是hadoop中的一个很重要的节点，因为他存在着跟datanode的交互跟客户端的交互，存储着dotanode中的元数据，所以就很想学习他们是如何沟通并能保证数据在任何情况下都不会丢失那？ namenode的作用： 1.维护元数据信息。 2.维护hdfs的目录树。 3.相应 ...
分类：
其他好文 时间：
2018-01-05 12:34:24
阅读次数：
130
伪分布式就是只有一台机器，既是namenode又是datanode。一台阿里云服务器（centos）即可完成。 Java环境 首先需要安装Java环境，下载jdk的安装包，解压到/usr/java/，然后配置环境变量。 建立信任关系 这个命令的作用是生成公钥和私钥，并且在该用户的根目录下生成.ssh ...
分类：
其他好文 时间：
2018-01-04 00:24:44
阅读次数：
199
1，Hadoop的组成 两个核心组成 HDFS: 分布式文件系统，存储海量的数据 MapReduce: 并行处理框架，实现任务分解和调度 2，HDFS HDFS中的文件被分成块进行存储，默认的块大小为64MB, 块是文件存储处理的逻辑单元 HDFS中有两类节点 NameNode和DataNode 2 ...
分类：
其他好文 时间：
2017-12-23 19:08:04
阅读次数：
159
刚开始装好hadoop的时候，namenode机上传文件没有错误，今天打开时突然不能上传文件，报错 put: File /a.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There ...
分类：
Web程序 时间：
2017-12-21 18:17:06
阅读次数：
262
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.h ...
分类：
其他好文 时间：
2017-12-20 20:16:34
阅读次数：
150
首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 DataNode 9712 JobTracker 9626 SecondaryNameNode 9983 Jps 9915 TaskTracker 遇到问题要学会翻看日志 cd /usr/local/hadoo ...
分类：
其他好文 时间：
2017-12-20 20:09:57
阅读次数：
228
将user表计算后的结果分区存储 测试准备： 首先同步时间，然后master先开启hdfs集群，再开启yarn集群；用jps查看： master上： 先有NameNode、SecondaryNameNode;再有ResourceManager; slave上： 先有DataNode；再有NodeMa ...
分类：
其他好文 时间：
2017-12-19 01:45:04
阅读次数：
207
在ubuntu16.4下spark的单机/伪分布式配置我在此就不在一一赘述，详情请点击如下连接： Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 我出现问题是在配置好伪分布式的文件并且NameNode 的格式化正确我弄成后，在启动hdfs时出现如下错误： 此 ...
分类：
系统相关 时间：
2017-12-18 01:14:10
阅读次数：
188
将手机用户使用流量的数据进行分组，排序； 测试准备： 首先同步时间，然后master先开启hdfs集群，再开启yarn集群；用jps查看： master上： 先有NameNode、SecondaryNameNode;再有ResourceManager; slave上： 先有DataNode；再有No ...
分类：
其他好文 时间：
2017-12-16 14:45:23
阅读次数：
188
