http://download.csdn.net/download/yameing/8011891一、规划1.准备安装包JDK:http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gzHadoop:h...
分类：
其他好文 时间：
2015-02-13 17:56:36
阅读次数：
217
一、hadoop集群环境配置参见：《Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.》Win7环境：登录用户名：hadoop , 与Hadoop集群中的Linux环境用户统一。a.在SY-0130节点上修改hdfs-site.xml加上以下内容 ，并同步修改到其他...
ssh免密码登陆配置ssh localhostssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys修改/etc/hosts文件（vi或gedit都可以，需要sudo）添加YARN...
分类：
其他好文 时间：
2015-02-11 21:48:17
阅读次数：
179
1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。2，sqoop1.9.33：在mysql和hadoop中交换数据。3，hadoop2.2.0：这里用于练习的是伪分布模式。4，完毕内容：喜欢该商品的人还喜欢，同样购物喜好的好友推荐。步骤：1，通过sqoop从mysql中将 “用...
分类：
其他好文 时间：
2015-02-11 14:13:58
阅读次数：
684
详细介绍Hadoop-2.6.0，Zookeeper-3.4.6，HBase-0.98.9-hadoop2环境搭建
分类：
其他好文 时间：
2015-02-07 13:08:25
阅读次数：
200
之前帮业务方固化过hive-0.7的自定义的UDF，由于现在大部分业务数据都已经迁移到hadoop2.4.0，hive使用的版本是0.13，之前固化的UDF不能用了，让在0.13上面也固化一下，以下是固化过程：...
分类：
其他好文 时间：
2015-02-06 18:47:42
阅读次数：
355
作为初学者，总结一下配置hadoop2.6的心得体会。首次配置时采用虚拟机中运行Ubuntu14.04,直接配置hadoop2.6,并在其中运行Eclipse。于自己的机子性能较为一般（4核+4G），尝试几个案例时就出现卡的现象。后来尝试CYGWIN代替Ubuntu,但各种配置问题不断产生，不得不放弃。改为在wi..
一、业务说明
使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。
二、为什么使用Hadoop(开发动机)
现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源...
分类：
数据库 时间：
2015-02-05 20:34:11
阅读次数：
280
1、安装环境是vmware workstation10.0模拟出三个虚拟节点，每一个节点安装Ubuntu12.04 LTS操作系统，主机名分别是hadoop1、hadoop2以及hadoop3.同时在每一个节点安装好java。安装方法同之前介绍的伪分布式安装方法一样。2、接着是对三个节点的hosts...
分类：
其他好文 时间：
2015-02-04 23:22:19
阅读次数：
277
大家在官网下载hadoop2.6安装完使用的时候，总是在控制台有这样一句
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
因为官网给的32位系统编译的版本，在64位的操作系统上使...
分类：
其他好文 时间：
2015-02-04 18:46:08
阅读次数：
174
