参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境：hadoop2.3cdh5.0.2 hive 1.2.1 目标：安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候，发现cdh解压后的n...
分类：
其他好文 时间：
2016-01-23 10:20:16
阅读次数：
196
简介： Hadoop是处理大数据的主要工具，其核心部分是HDFS、MapReduce。为了学习的方便，我在虚拟机上搭建了一个伪分布式环境，来进行开发学习。一、安装前准备：1）linux服务器：Vmware 上CentOS6.4 mini安装2) JDK：jdk-7u65-linux-x64.gz3)...
分类：
其他好文 时间：
2016-01-22 21:20:40
阅读次数：
228
今天来说说编译hadoop源代码的事情吧~1、首先下载源代码地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/2、加压tar包到指定目录：/home/hadoop/soft/hadooptar zxvf hadoop-2.4....
分类：
系统相关 时间：
2016-01-22 21:17:52
阅读次数：
239
近期为了分析国内航空旅游业常见安全漏洞，想到了用大数据来分析，其实数据也不大，只是生产项目没有使用Hadoop，因此这里实际使用一次。先看一下通过hadoop分析后的结果吧，最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下：第一次正式使用Hadoop，肯定会遇到非常多的...
第一步：准备hive和mysql安装包 下载hive 1.1.1 地址：http://www.eu.apache.org/dist/hive/ 下载Mysql JDBC 5.1.38驱动：http://dev.mysql.com/downloads/connector/j/ 第二步：直接安装mysq...
分类：
系统相关 时间：
2016-01-20 12:49:41
阅读次数：
302
一、安装环境1.1 JAVA安装java1.7下载jdk1.7:[root@node1~]# wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=145276518...
分类：
其他好文 时间：
2016-01-19 19:07:01
阅读次数：
248
安装Hive(独立模式 使用mysql连接)1.默认安装了java+hadoop2.下载对应hadoop版本的安装包3.解压安装包 tar zxvf apache-hive-1.2.1-bin.tar.gz4.安装mysql yum -y install mysql-server mysql mys...
分类：
数据库 时间：
2016-01-19 10:24:15
阅读次数：
217
问题描述： 以单机伪分布式方式安装了hadoop2.7.1，并在该机器上安装了hive1.2.1。首先执行 sbin/start-dfs.sh 启动hdfs服务，然后执行hive，这时hive脚本启动报错，提示hdfs进入了安全模式，hive无法创建临时目录，出错信息如下：原因分析： 在hdf...
分类：
其他好文 时间：
2016-01-14 18:53:16
阅读次数：
129
1.首先配置好JDK，准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包，然后解压到相应目录中2.进入conf/hbase-env.sh.文件，进行JDK的配置3.编辑conf/hbase-site.xml文件，添加如下代码： hbase.rootdir f...
分类：
其他好文 时间：
2016-01-11 00:04:50
阅读次数：
202
一、需求公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。以下我将以公司目前环境把写1.0部署步聚写出来二、知识点储备1、hadoop中NameNode、DataNode、Secondary、NameNode、JobTrac..
分类：
其他好文 时间：
2016-01-08 00:39:43
阅读次数：
221
