Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程：客户端提交作业后启...
分类：
其他好文 时间：
2014-08-30 13:52:19
阅读次数：
292
问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A....
分类：
其他好文 时间：
2014-08-30 11:06:39
阅读次数：
927
第一个程序：
public class Hello{
public static void main(String args[]){
System.out.println("Hello World!!!");
}
}
编译步骤：
classpath作用：
Java程序的执行流程：JAVA命令 --> 要使用一个*.class文件（类文件） --> 通过 class...
分类：
编程语言 时间：
2014-08-26 21:33:26
阅读次数：
228
1.用自己的话简要阐述struts2的执行流程。Struts 2框架本身大致可以分为3个部分：核心控制器FilterDispatcher、业务控制器Action和用户实现的企业业务逻辑组件。核心控制器FilterDispatcher是Struts 2框架的基础，包含了框架内部的控制流程和处理机制。业...
分类：
其他好文 时间：
2014-08-26 19:00:36
阅读次数：
220
红色留着继续思考。问题背景： CCSWYB ，在云平台上模拟shell流程，在各个节点上分配fvcom计算任务。Spark程序流程： 从HDFS中读取tasklist.txt(每一行对应一个任务) 经过一些操作过后生成一个JavaPairRDD ，记作data，对data执行foreac...
分类：
其他好文 时间：
2014-08-26 01:47:25
阅读次数：
5885
Hadoop服务库与事件库的使用及其工作流程 Hadoop服务库:
YARN采用了基于服务的对象管理模型,主要特点有:
被服务化的对象分4个状态:NOTINITED,INITED,STARTED,STOPED
任何服务状态变化都可以触发另外一些动作
可通过组合方式对任意服务进行组合,统一管理
具体类...
分类：
其他好文 时间：
2014-08-25 18:46:54
阅读次数：
231
hadoop2.0 yarn 内存溢出问题解决异常提示：Container [pid=20170,containerID=container_1390877171119_0002_01_000005] is running beyond virtual memory limits. Current ...
分类：
其他好文 时间：
2014-08-23 15:12:51
阅读次数：
218
YARN加载本地库抛出Unable to load native-hadoop library解决办法用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARN util.NativeCodeLoader: Unable to load nativ...
分类：
其他好文 时间：
2014-08-23 12:30:40
阅读次数：
282
1：异常的概念：
异常是程序在执行时发生的事件(异常发生在运行期间)。
程序出现错误，打断原本的执行流程。
2：Java中处理异常。
在Java中，异常被封装成一个对象。(属性和方法)
3：异常产生
在Java程序的执行过程中，如果出现了异常事件，就会生成一个异常对象。
生成的异常对象将传递给Java运行时系统，这一异常的产生和提交过程称
为引发异常。...
分类：
其他好文 时间：
2014-08-21 07:22:43
阅读次数：
140
应用程序流程图CodeIgniter执行流程源码分析——CI到底做了些什么（由welcome的例子出发——讲解index.php——讲解CodeIgniter.php）（load_class的具体工作、ConFig类的作用、Loader类的作用、Router解析请求、Controller类的具体工作...
分类：
其他好文 时间：
2014-08-20 23:56:33
阅读次数：
239
