操作系统： windows hadoop 2.7.4 namenode:192.168.233.135 datanode: 192.168.233.134/131 1.下载hadoop-eclipse-plugin-xxx.jar(https://github.com/winghc/hadoop2x ...
分类：
系统相关 时间：
2018-03-06 15:36:13
阅读次数：
174
本文主要介绍了如何在linux上搭建单机/伪分布式hadoop集群，有着详细的操作步骤，读者可以很容易上手，完成Hadoop集群的搭建和体验！ ...
分类：
系统相关 时间：
2018-03-06 14:43:36
阅读次数：
262
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) ...
分类：
系统相关 时间：
2018-03-06 10:18:07
阅读次数：
246
本文进行操作的虚拟机是在伪分布式配置的基础上进行的，具体配置本文不再赘述，请参考本人博文：http://www.cnblogs.com/VeryGoodVeryGood/p/8507795.html 本文主要参考 给力星的博文——Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/C ...
分类：
系统相关 时间：
2018-03-05 12:52:10
阅读次数：
253
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、背景： 随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求 ...
分类：
其他好文 时间：
2018-03-04 19:03:31
阅读次数：
162
搭建Hadoop的分布式集群 Hadoop集群搭建的准备操作： 1、准备四台服务器 四台服务器的主机名分别是：potter2、potter3、potter4、potter5。 对以上四台服务器需要做一下准备操作，这些准备都是为了将来搭建Hadoop集群做准备的。 （1）修改各个服务器的主机名。 第一 ...
分类：
其他好文 时间：
2018-03-03 19:28:57
阅读次数：
213
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问 ...
分类：
其他好文 时间：
2018-03-01 20:06:38
阅读次数：
145
Hadoop集群部署 1、Hadoop集群配置 1）网络配置：为每台机器配置号固定IP、设置开机自动连接 查看网卡的信息找到激活的网卡: dmesg | grep -i 'eth' 通过ethtool $ethx来查看网卡详细信息，x为网卡编号: # ethtool eth4 [root@cloud ...
分类：
其他好文 时间：
2018-02-26 18:19:20
阅读次数：
246
2018-02-24 2月22号，发现namenode02服务器的namenode(standby)节点挂掉，查看hadoop日志/app/hadoop/logs/hadoop-appadm-namenode-prd-bldb-hdp-name02.log发现2018-02-17 03:29:34， ...
分类：
数据库 时间：
2018-02-24 20:41:51
阅读次数：
1644
前言 使用Hadoop进行离线分析或者数据挖掘的project师，常常会须要对Hadoop集群或者mapreduce作业进行性能调优。或许你知道通过浏览器訪问http://master:18088/conf来查看配置信息。例如以下图所看到的： 但是当Linuxproject师们仅仅面对命令行时，怎样 ...
分类：
其他好文 时间：
2018-02-09 20:43:36
阅读次数：
169
