本篇紧接着概念篇，从宏观角度上看一下Samza实时计算服务的架构是什么样的？
Samza是由以下三层构成：
1. 数据流层（A streaming layer）
2. 执行层（An execution layer）
3. 处理层（A progressing layer）
那Samza是依靠哪些技术完成以上三层的组合呢...
分类：
其他好文 时间：
2014-10-29 17:11:57
阅读次数：
261
表现层：采用mvc模型。M：模型（主要是实体bean）用于封装数据和数据传递V ：视图（主要是html，jsp）用于展示数据C ：控制（主要是servlet）用于控制执行流程和页面的跳转业务层：采用事务脚本，将一次请求中所有的业务操作合成一个方法。保证该方法中所有的数据库更新操作同时成功同时失败（事...
分类：
其他好文 时间：
2014-10-28 21:33:12
阅读次数：
149
发现每次reduce阶段跑到98%，相关的container被杀，报出的log大概...
分类：
其他好文 时间：
2014-10-25 18:49:24
阅读次数：
130
在上一篇的CliDriver类中介绍了CliDriver类会引用到CommandProcessor相关类，主要是根据命令来判断具体实现类,比如通过本地的hivecli启动时，运行hive的命令（非list/source/shell命令等）时在processCmd方法中有如下实现:try{
CommandProcessorproc=CommandProcessorFactory.g..
分类：
其他好文 时间：
2014-10-23 06:56:00
阅读次数：
254
1、NodeManager概述
NodeManager（NM）是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用（内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务。
2、NodeManager分析
2.1、代码分析
接下来将...
分类：
其他好文 时间：
2014-10-23 00:01:39
阅读次数：
291
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息： 从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！ 第三步：启动yarn集群 使用jps命令...
分类：
其他好文 时间：
2014-10-21 10:32:36
阅读次数：
169
从控制台我们可以看见有两个DataNode，此时我们点击“LiveNodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWo..
分类：
其他好文 时间：
2014-10-21 10:27:47
阅读次数：
163
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa...
分类：
其他好文 时间：
2014-10-21 10:24:25
阅读次数：
230
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了Res...
分类：
其他好文 时间：
2014-10-21 10:16:02
阅读次数：
221
1、将mapred-site.xml文件拷贝一份到项目中 <configuration>
????<property>
????????<name>mapreduce.framework.name</name>
????????????<value>yarn</value>
????</property>
??...
分类：
系统相关 时间：
2014-10-20 23:31:12
阅读次数：
402
