一、安装并配置Linux 8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 最终效果如下： 二、安装并配置JDK 1. 安装文件 jdk-7u67-linux-x64.tar.gz 2. 解压 3. 配置jdk 1）使用sudo配置/etc ...
分类：
其他好文 时间：
2016-08-01 17:23:08
阅读次数：
206
hadoop的简单安装部署过程为了做些实验，所以在自己笔记本电脑上装了个虚拟机，系统为CentOS6.2，JDK1.7，hadoop-1.0.1为了简单起见，部署伪分布式，即仅有一个节点，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。部署总体说..
分类：
其他好文 时间：
2016-07-20 13:45:04
阅读次数：
183
一、准备：1、修改主机名vi/etc/sysconfig/network内容如下：NETWORKING=yesHOSTNAME=myHadoop2、修改主机名和IP的映射关系vi/etc/hosts192.168.127.150 myHadoop3、关闭防火墙3.1、查看防火墙状态serviceiptablesstatus3.2、关闭防火墙serviceiptablesstop3.3、查看防火墙开机..
分类：
其他好文 时间：
2016-07-19 11:32:43
阅读次数：
155
环境： VMware-workstation-full-10.0.0-1295980.exe CentOS-6.7-x86_64-bin-DVD1.iso 开始： 个人习惯自己创建了两个目录 一个来放要安装的软件 一个来放软件安装的地址 解压安装jdk 配置jdk 配置完成之后重启才可以生效 我们执 ...
分类：
Web程序 时间：
2016-07-07 22:36:55
阅读次数：
277
Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site ...
分类：
其他好文 时间：
2016-07-07 08:35:31
阅读次数：
204
1、什么是kafka?
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。
kafka目前支持多种客户端语言：java，...
分类：
编程语言 时间：
2016-07-06 11:57:09
阅读次数：
745
HadoopLocal(Standalone)Mode（单机版）的安装纯粹只是为练手，练完了单机版，下面该练练Pseudo-DistributedMode（伪分布式版）的安装了。伪分布式是在一台物理机上模拟实现了hadoop的全部功能。包括ssh访问、hdfs格式化、mapReduce执行、yarn资源管理等，伪分布式安装是单机版..
分类：
其他好文 时间：
2016-07-01 23:04:55
阅读次数：
331
摘自：http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式 ...
分类：
系统相关 时间：
2016-06-28 12:29:06
阅读次数：
297
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/... ...
分类：
其他好文 时间：
2016-06-25 08:28:22
阅读次数：
248
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修... ...
分类：
其他好文 时间：
2016-06-25 08:25:47
阅读次数：
156
