一、准备：1、修改主机名vi/etc/sysconfig/network内容如下：NETWORKING=yesHOSTNAME=myHadoop2、修改主机名和IP的映射关系vi/etc/hosts192.168.127.150 myHadoop3、关闭防火墙3.1、查看防火墙状态serviceiptablesstatus3.2、关闭防火墙serviceiptablesstop3.3、查看防火墙开机..
分类：
其他好文 时间：
2016-07-19 11:32:43
阅读次数：
155
网上资料很多，但是都不怎么实用，这里给大家总结一下。nat模式上网。因为nat本身就能上网为什么还要设置ip。这有点自找麻烦。但是在集群这是必须的。要么你搭建伪分布，要么至少具有三台物理机器。为了节省成本，一般会选择伪分布。伪分布也有选择，三种模式那种方式比较合适。1.桥接，这种方式对于大多数来说比 ...
分类：
系统相关 时间：
2016-07-11 16:58:08
阅读次数：
215
环境： VMware-workstation-full-10.0.0-1295980.exe CentOS-6.7-x86_64-bin-DVD1.iso 开始： 个人习惯自己创建了两个目录 一个来放要安装的软件 一个来放软件安装的地址 解压安装jdk 配置jdk 配置完成之后重启才可以生效 我们执 ...
分类：
Web程序 时间：
2016-07-07 22:36:55
阅读次数：
277
Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site ...
分类：
其他好文 时间：
2016-07-07 08:35:31
阅读次数：
204
1、什么是kafka?
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。
kafka目前支持多种客户端语言：java，...
分类：
编程语言 时间：
2016-07-06 11:57:09
阅读次数：
745
用到的软件： 一、安装jdk： 1、要安装的jdk，我把它拷在了共享文件夹里面。 （用优盘拷也可以） 2、我把jdk拷在了用户文件夹下面。 （其他地方也可以，不过路径要相应改变） 3、执行复制安装解压命令： 解压完毕： 查看解压的文件夹： 4、配置 环境变量： 写入如下5行代码： 使配置生效： 5、 ...
分类：
其他好文 时间：
2016-07-05 22:19:06
阅读次数：
110
HadoopLocal(Standalone)Mode（单机版）的安装纯粹只是为练手，练完了单机版，下面该练练Pseudo-DistributedMode（伪分布式版）的安装了。伪分布式是在一台物理机上模拟实现了hadoop的全部功能。包括ssh访问、hdfs格式化、mapReduce执行、yarn资源管理等，伪分布式安装是单机版..
分类：
其他好文 时间：
2016-07-01 23:04:55
阅读次数：
331
摘自：http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式 ...
分类：
系统相关 时间：
2016-06-28 12:29:06
阅读次数：
297
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/... ...
分类：
其他好文 时间：
2016-06-25 08:28:22
阅读次数：
248
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修... ...
分类：
其他好文 时间：
2016-06-25 08:25:47
阅读次数：
156
