1. 功能说明 使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求： 首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时 ...
分类：
移动开发 时间：
2016-08-05 12:01:10
阅读次数：
1258
前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项，本篇我们主要来分析如何安装CentOS操作系统，以及一些基础的设置，闲言少叙，我们进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 因为我的笔记本是Window7操作系统，然 ...
分类：
其他好文 时间：
2016-08-05 00:53:43
阅读次数：
179
1. 单个Docker节点的配置 1.1 获取一个简单的Docker系统镜像,并建立一个容器。 1.2.1 这里我选择下载CentOS镜像 1.2.2 通过docker tag命令将下载的CentOS镜像名称换成centos，然后建立一个简单容器 1.2 Docker容器中下载并安装Java 1.2 ...
分类：
其他好文 时间：
2016-08-05 00:50:29
阅读次数：
145
前言 关于时下最热的技术潮流，无疑大数据是首当其中最热的一个技术点，关于大数据的概念和方法论铺天盖地的到处宣扬，但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案，更有很多数据相关的项目比如弄几张报表，写几个T-SQL语句就被冠以“大数据项目”，当然了，时下热 ...
分类：
其他好文 时间：
2016-08-03 13:40:01
阅读次数：
204
Hadoop集群硬件环境 4台机器 ip地址 172.16.1.131 172.16.1.132 172.16.1.133 172.16.1.134 每台内存16G 8核cpu 直接使用报错： 1.修改配置 data-integration/libswt/linux/ppc64le下放入swt.ja ...
分类：
系统相关 时间：
2016-07-30 23:58:25
阅读次数：
391
前言 在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并 ...
分类：
其他好文 时间：
2016-07-21 17:59:15
阅读次数：
461
当你利用Hadoop进行大数据分析和处理时，首先你需要确保配置、部署和管理集群。这个即不容易也没有什么乐趣，但却受到了开发者们的钟爱。本文提供了5款工具帮助你实现。 Apache Ambari Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。......
分类：
其他好文 时间：
2016-07-15 21:27:09
阅读次数：
1358
需要的环境：
Ubuntu server 14.04 四台
Windows 7 操作系统（内存尽量大）
Xshell 软件 安装在Windows 7操作系统上
Hadoop-2.6.4 软件（编译好）
参考文档：
Hadoop 集群安装：
（1） http://www.linuxidc.com/Linux/2015-01/111463.htm
（2） http://blog.csd...
分类：
系统相关 时间：
2016-07-13 17:36:50
阅读次数：
745
本文记录在3台物理机上搭建Hadoop 2.6.0的详细步骤及碰到的问题解决。默认使用root账号操作，实际中建议使用专用的hadoop用户账号。1. 环境机器： 物理机3台，ip分别为192.168.1.130、192.168.1.132、192.168.1.134
操作系统： CentOS 6.6
Java： 1.7
Hadoop: 2.6.0请确保JDK已安装，使用java -versi...
分类：
其他好文 时间：
2016-07-13 16:28:08
阅读次数：
180
我用的是hadoop 1.2.1 遇到的问题是： hadoop中datanode无法启动，报Caused by: java.net.NoRouteToHostException: No route to host 切换root用户将所有机器上的防火墙都关闭。 重新启动。成功。 一定要从新启动，是因为 ...
分类：
编程语言 时间：
2016-07-09 23:37:20
阅读次数：
685
