hadoop入门（二） hadoop的配置 1.本地模式 2.伪分布式 3.分布式 一、配置linux环境： 1打开虚拟网络编辑器，选择 VMnet1 仅主机模式， 子网 IP 设为 192.168.1.0 ，子网掩码设为 255.255.255.0 2.增加用户组 创建用户： adduser 用户 ...
分类：
其他好文 时间：
2018-09-21 17:37:20
阅读次数：
166
一、准备Linux环境 1、安装目前常用的VMware，和Linux虚拟机（可以复制、拷贝） 2、使用 vim /etc/sysconfig/network进行修改主机名 3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的I ...
分类：
其他好文 时间：
2018-09-18 22:49:52
阅读次数：
216
以下的安装说明适用于Mac、Hadoop2.9.0 一、安装前提 支持的平台 GNU/Linux可以作为开发、生产运行环境，在GNU/Linux部署的集群可以支持2000+个节点。 也支持windows平台。 依赖的软件 Java，Hadoop2.7以上版本要求Java版本7以上； 安装了ssh，并 ...
分类：
其他好文 时间：
2018-09-10 00:52:58
阅读次数：
231
一.Storm的下载 官网下载地址：http://storm.apache.org/downloads.html 这里下载最新的版本storm1.2.2，进入之后选择一个镜像下载 二.Storm伪分布式安装 1.环境准备 JDK 1.7+ 验证： java -versionPython 2.6.6+ ...
分类：
其他好文 时间：
2018-09-02 23:57:09
阅读次数：
513
（1）本周做了什么，花在学习上多长时间，花在代码时间上多长时间，花在解决问题用了多长时间。 学习了Linux环境安装，Hadoop本地模式安装及伪分布式模式安装 学习：2天 代码：1天 解决问题：半天 （2）下周准备做什么？ 学习Hadoop相关知识 （3）本周遇到的问题？ 安装好后，web查看ha ...
分类：
其他好文 时间：
2018-09-01 14:36:25
阅读次数：
132
引言在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，单机已足以，好吧，说实话是自己的电脑不行，使用虚拟机实在太卡了。。。整个的集群搭建是在公司的测试服务搭建的，在搭建的时候遇到各种各样的坑，当然也收获颇多。在成功搭建大数据
分类：
其他好文 时间：
2018-08-22 10:19:53
阅读次数：
235
一、安装Ruby和Remgem 1、安装rvm 【Ruby Version Manager】 到网站 https://rvm.io/ 看看安装命令提示 a.【安装密钥服务器】执行 #gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796 ...
分类：
其他好文 时间：
2018-08-20 17:57:07
阅读次数：
216
说明：Hbase部署模式有以下三种（1）本地模式：本地模式不依赖于HDFS存储，将文件存储到操作系统本地目录，好处是我们不需要搭建HDFS集群，即可学些HBase相关命令及客户端操作。（2）伪分布模式：一台机器完成Hbase所有组件的配置，需要依赖HDFS分布式存储（3）全分布模式：多机部署，一般情况下Hmaster和HregionServer分布在不同的服务器，需要依赖底层HDFS分布式存储。一
分类：
其他好文 时间：
2018-08-13 10:51:22
阅读次数：
199
说明：Hbase部署模式有以下三种（1）本地模式：本地模式不依赖于HDFS存储，将文件存储到操作系统本地目录，好处是我们不需要搭建HDFS集群，即可学些HBase相关命令及客户端操作。（2）伪分布模式：一台机器完成Hbase所有组件的配置，需要依赖HDFS分布式存储（3）全分布模式：多机部署，一般情况下Hmaster和HregionServer分布在不同的服务器，需要依赖底层HDFS分布式存储。一
分类：
其他好文 时间：
2018-08-12 14:17:22
阅读次数：
159
在学习zk伪分布式集群对的时候，第一次注意到克隆虚拟机后修改eth的ip地址，发现ip不是自己修改的ip，进而在询问下发现，当我们第一次登陆查看我们克隆的虚拟机ip时：我们看到的ip不是eth0的ip，而是eth1的ip。 而究其原因是因为在克隆后出现网卡MAC地址和原系统MAC地址一样，在局域网内 ...
分类：
系统相关 时间：
2018-08-12 10:30:10
阅读次数：
278
