部分目录：
1，初始Hadoop
2，关于MapReduce
3，Hadoop分布式文件系统
HDFS 文件系统。
4，Hadoop I/O
5，MapReduce应用开发
6，MapReduce的工作机制
7，MapReduce的类型与格式
8，MapReduce 的特性
9，构建 Hadoop 集群
10，管理 Hadoop
11，Pig简介
Pig Latin 描述...
分类：
其他好文 时间：
2015-02-13 20:01:07
阅读次数：
183
1、MySQL安装 MySQL下载地址：http://www.mysql.com/downloads/1.1 Windows平台 1）准备软件 MySQL版本：mysql-5.5.21-win32.msi 2）安装环境： 操作系统：Windows 7旗舰版 3）开始安装 第一步：双...
分类：
数据库 时间：
2015-02-13 17:54:53
阅读次数：
361
一、hadoop集群环境配置参见：《Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.》Win7环境：登录用户名：hadoop , 与Hadoop集群中的Linux环境用户统一。a.在SY-0130节点上修改hdfs-site.xml加上以下内容 ，并同步修改到其他...
主要讨论在Centos5.6下通过Ambari进行Hadoop集群的安装（基于Hotonworks框架）...
分类：
其他好文 时间：
2015-02-12 18:30:33
阅读次数：
214
执行stop-dfs.sh脚本，出现以下提示：1 Stopping namenodes on [Master]2 Master: no namenode to stop3 SlaveA: no datanode to stop4 SlaveB: no datanode to stop5 SlaveC...
分类：
其他好文 时间：
2015-02-12 15:55:38
阅读次数：
181
现有数据如下：
3 3
3 2
3 1
2 2
2 1
1 1
要求为：
先按第一列从小到大排序，如果第一列相同，按第二列从小到大排序
如果是hadoop默认的排序方式，只能比较key，也就是第一列，而value是无法参与排序的
这时候就需要用到自定义的排序规则
解决思路：
自定义数据类型，将原本的key和value都包装进去
将这个数据类型当做key，这样就...
分类：
编程语言 时间：
2015-02-11 22:04:55
阅读次数：
263
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题...
分类：
其他好文 时间：
2015-02-09 18:08:59
阅读次数：
123
假设已经配置好集群。在开发客户机Linux centos 6.5上进行：a.客户机centos 有一个和集群同名的访问用户:huser.b.vim /etc/hosts 加入namenode,加入本机IP.-------------------------1.安装hadoop集群 同版本的 jdk,...
分类：
系统相关 时间：
2015-02-06 16:22:35
阅读次数：
208
一、业务说明
使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。
二、为什么使用Hadoop(开发动机)
现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源...
分类：
数据库 时间：
2015-02-05 20:34:11
阅读次数：
280
实现真正的分布式的hadoop，并不是伪分布式的。一、系统与配置共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0192.168.1.10 NameNode master （master）192.168....
分类：
系统相关 时间：
2015-02-04 16:29:23
阅读次数：
208
