1、练习 首先编写两个数据文件A： 0,1,2 1,3,4 数据文件B： 0,5,2 1,7,8 上传到HDFS对应目录/input目录下2、运行pig ,加载A和B 加载数据A：使用指定的分隔符, grunt> a = load '/input/A' using PigStora...
分类：
其他好文 时间：
2014-06-19 00:27:03
阅读次数：
354
二、Hadoop目录结构这里重点介绍几个目录bin、conf及lib目录。1、$HADOOP_HOME/bin目录文件名称说明hadoop用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心hadoop-config.shHadoop的配置文件hadoop-daemon.sh通过执行hadoop命令来启动/停止一个守护进程(daemon)。该命令...
分类：
其他好文 时间：
2014-06-16 23:13:29
阅读次数：
338
三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称默认值说明JAVA_HOME 设置JDK的路径，这个必须设置，否则Hadoop无法启动，值如：/usr/local/jdk1.6.0_33HADOOP_CLASSPATH空这个用以设置用户的类路径，也可以在...
分类：
其他好文 时间：
2014-06-16 19:59:35
阅读次数：
380
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
终于终于西蒙用小提琴拉了一首《小星星》，内牛满面啊！正文：在过程分析和数据分析的基础上，需要从多个方面，广泛寻找导致问题发生的潜在原因，这是一个群策群力的过程。寻找问题原因的主要方法是头脑风暴会议，问题寻找的过程，也往往不会只通过一次或几次的头脑风暴就可以找到问题原因，我们要充分发挥团体的智慧，从各...
分类：
其他好文 时间：
2014-06-15 23:25:57
阅读次数：
1779
博客将介绍HDFS HA架构，并进行源码引导...
分类：
其他好文 时间：
2014-06-15 19:48:51
阅读次数：
519
一、项目要求
本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、nginx、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。
二、需求分析： KPI指标设计
PV(PageView): 页面访问量统计
IP: 页面独立IP的访问量统计
...
分类：
其他好文 时间：
2014-06-15 10:25:49
阅读次数：
395
1、pig安装 1）解压，重命名、设置环境变量，同hadoop 2）编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类：
其他好文 时间：
2014-06-14 11:40:40
阅读次数：
205
有好几周没写东西了，一方面是因为前几个周末都有些事情，另外也是因为没能找到好的写作方向，或者说有些话题值得分享、写作，可是自己积累还不够，没办法只好闷头继续研究了。这段时间一边在写代码，一边也在想Android中究竟是如何将R.layout.xxx_view.xml这样的布局文件加载到Andro.....
分类：
移动开发 时间：
2014-06-14 08:44:16
阅读次数：
295
1：引入的jar包1.X版本有hadoop-core包；而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib
+hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar
+\share\hadoo...
分类：
其他好文 时间：
2014-06-12 13:59:33
阅读次数：
255
