【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
hadoop编译 hadoop2.2.0 64 位编译 CentOS6.5、Hadoop-2.2.0、64 位的编译...
分类：
其他好文 时间：
2014-08-13 13:04:26
阅读次数：
227
Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上） 原材料：在Oracle官网下载的32位JDK： 说明： 1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning...
分类：
其他好文 时间：
2014-08-13 12:58:56
阅读次数：
296
HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时...
分类：
其他好文 时间：
2014-08-13 10:21:45
阅读次数：
249
HBASE的安装：安装的软件版本：hbase-0.98.4-hadoop2.tar.gz下载链接：http://www.apache.org/dist/hbase/hbase-0.98.4/1、解压文件,并配置环境变量将下载的hbase-0.98.2-hadoop4.tar.gz解压到/home/h...
分类：
其他好文 时间：
2014-08-13 10:13:15
阅读次数：
150
安装环境：系统：Ubuntu 12.10hadoop：0.23.6jdk：sun 1.7.0_21安装步骤：一.安装JDK安装 orcale jdk，并且配置环境以及设置成默认（略）检查jdk是否正确安装和配置在主目录下执行java -version如果出现下面类似结果则okhadoop@ubunt...
分类：
其他好文 时间：
2014-08-12 21:59:24
阅读次数：
404
Pig Latin UDF语句
REGISTER 在Pig运行时环境中注册一个JAR文件
DEFINE 为UDF、流式脚本或命令规范新建别名
Pig Latin命令类型
kill 中止某个MapReduce任务
exec 在一个新的Grunt shell程序中以批处理模式运行一个脚本
run 在当前Grunt外壳程序中运行程序
quit 退出解释器
...
分类：
其他好文 时间：
2014-08-12 19:06:04
阅读次数：
362
Hive 运行架构
由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具；
构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；
设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据：
使用HQL作为查询接口；
使用HDFS作为存储底层；...
分类：
其他好文 时间：
2014-08-12 19:05:44
阅读次数：
314
网站上的数据，存在数据库里。一般用Mysql，也有用sqlite，Postgre。操作数据库要会SQL语言，这个有点麻烦，常常需要查手册。此外，每家数据库在实现SQL语言的时候，常常会加料，增加一些自己独有的东西。而且，SQL语言不是面向对象/基于对象，很多抽象更高的东西不能使用。
于是，ORM就出现了。
ORM是Object Relation Model，也就是 对象关系映射...
分类：
Web程序 时间：
2014-08-12 19:01:44
阅读次数：
297
