我们hadoop2,4集群默认不支持snappy压缩，可是近期有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算。可是直接执行时报错： Failed with exception java.io.IOExce ...
分类：
移动开发 时间：
2017-05-04 21:48:20
阅读次数：
275
编译： 使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4 编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop ...
分类：
其他好文 时间：
2017-05-04 01:27:34
阅读次数：
334
kettle6.1 连接hadoop2.6.0-CDH5.5.0 参考官网链接：http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 1,hadoop version 查看 ...
分类：
其他好文 时间：
2017-05-02 11:49:13
阅读次数：
444
Hadoop2.7.3 多台主机完全分布式搭建（Mac OS X 10.12.4系统） 前言 由于学校课程实验的要求，特意需要搭建hadoop的完全分布式系统，所以自己就蛋疼的配了，可惜关于MAC系统的Hadoop搭建材料太少，而且真正的基于校园网的配置基本上没有(基本是在一台电脑上进行，因此当在多 ...
分类：
系统相关 时间：
2017-04-29 22:19:03
阅读次数：
343
三台serveryiprod01,02,03，当中01为namenode，02为secondarynamenode。3个均为datanode 3台server的这里提到的配置均需一样。 0、安装前提条件： 0.1 确保有java 安装完java后，在.bash_profile中，必须有JAVA_HO ...
分类：
其他好文 时间：
2017-04-29 18:47:58
阅读次数：
186
只需要确保您的电脑已装好Java环境，那么就可以开始了。 一. 准备工作 1. 下载Hadoop2.7.1版本（写Spark和Hadoop主要是用到了Yarn，因此Hadoop必须安装） 下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ ...
hdfs副本和基本读写。 core-site.xmlhdfs-site.xml 从/etc/hdfs1/conf下拷贝到工作空间 import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apa... ...
分类：
其他好文 时间：
2017-04-26 13:11:46
阅读次数：
1247
一、依赖安装 安装JDK 二、文件准备 hadoop-2.7.3.tar.gz 2.2 下载地址 http://hadoop.apache.org/releases.html 三、工具准备 3.1 Xshell 3.2 Xftp 四、部署图 master:192.168.136.128 slave: ...
分类：
其他好文 时间：
2017-04-25 21:17:35
阅读次数：
373
一、文件准备 scala-2.12.1.tgz 下载地址: http://www.scala-lang.org/download/2.12.1.html 二、工具准备 2.1 Xshell 2.2 Xftp 三、操作步骤 3.1 通过Xftp将下载下来的Scala上传到指定虚拟机上传到/usr目录下 ...
分类：
Web程序 时间：
2017-04-25 21:13:05
阅读次数：
218
一、文件准备 下载jdk-8u131-linux-x64.tar.gz 二、工具准备 2.1 Xshell 2.2 Xftp 三、操作步骤 3.1 解压文件： $ tar zxvf jdk-8u131-linux-x64.tar.gz 解压后文件目录移动到/opt/modules/下 建立连接jdk ...
分类：
其他好文 时间：
2017-04-25 19:58:04
阅读次数：
174
