Hadoop简介和历史 Hadoop架构体系 Master和Slave节点 数据分析面临的问题和Hadoop思想 由于工作原因，必须学习和深入一下Hadoop，特此记录笔记。 什么是hadoop？ Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件 ...
分类：
其他好文 时间：
2016-06-25 00:47:20
阅读次数：
230
小笔记： Mavon是一种项目管理工具，通过xml配置来设置项目信息。 Mavon POM(project of model). Steps: 1. set up and configure the development environment. 2. writing your map and r ...
分类：
其他好文 时间：
2016-06-07 16:15:15
阅读次数：
236
参考书籍：《Hadoop实战》第二版 第9章:HDFS详解 1. HDFS基本操作 @ 出现的bug信息 @-@ WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b ...
分类：
其他好文 时间：
2016-06-06 00:39:44
阅读次数：
1185
原文出处： 夏天的森林 开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么， ...
分类：
其他好文 时间：
2016-05-05 22:04:27
阅读次数：
317
hadoop学习笔记(二)我的个人博客站点地址：孙星的个人博客主页
后续的学习笔记：hadoop学习笔记hadoop单节点的搭建下载hadoop：wget http://apache.fayea.com/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
tar -zxvf hadoop-2.7.1.tar.gz解压配置免密码登陆://生成秘钥
ssh-...
分类：
其他好文 时间：
2016-04-29 15:06:22
阅读次数：
122
云计算的几大形式 云计算服务类型 基础设施即服务（IaaS） - 提供硬件设备 ：例如 个人搭建网站不需要再去租服务器，买数据库，可在云平台上付费购买空间及相应服务。 eg. Google app engine ; Amazon Web Services (AWS) ; 阿里云；新浪云 软件即服务（ ...
分类：
其他好文 时间：
2016-04-28 19:43:29
阅读次数：
246
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架...
分类：
其他好文 时间：
2016-04-22 19:55:01
阅读次数：
129
1. Hadoop 最出名的是 MapReduce和 HDFS，不过也有很多其他有用的子项目。 技术栈如下： Core 一系列分布式文件系统和通用I/O的组件和接口（序列化、Java RPC和持久化数据结构） Avro 一种提供高效、跨语言RPC的数据序列系统，持久化数据存储。 MapReduce ...
分类：
其他好文 时间：
2016-04-19 17:02:12
阅读次数：
134
0.前言hadoop总共有三种运行方式。本地模式（Local (Standalone) Mode），伪分布式（Pseudo-Distributed Mode），分布式（Fully-Distributed Mode）。后面足一讲解搭建本地以及伪分布式，分布式读者自行搭建。
参考资料（官网为主，网络资料为铺）：
http://hadoop.apache.org/docs/r2.6.4/hadoop-...
分类：
其他好文 时间：
2016-04-17 22:44:17
阅读次数：
138
0.前言本文参考博客：http://www.51itong.net/eclipse-hadoop2-7-0-12448.html
搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客：
http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址：http://www.eclipse.org/downlo...
分类：
系统相关 时间：
2016-04-17 22:43:52
阅读次数：
467
