具体参考: 官方用户手册和开发指南http://flume.apache.org/FlumeDeveloperGuide.html*) 定位和简单例子1). Flume-ng-sdk是用于编写往flume agent发送数据的client sdk2). 简单示例RpcClient client = ...
分类：
其他好文 时间：
2014-07-11 21:12:08
阅读次数：
256
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
在spark-shell中可以定制成接近shark的操作，让熟悉sql的人轻松上手。...
分类：
其他好文 时间：
2014-07-10 23:08:16
阅读次数：
210
本文介绍了spark对hadoop sequencefile的读写支持，实现方式以及简单的使用方法。sequencefile和textfile类似，在上下文里有直接提供读取方法，但最终走的还是hadoopFile方法。...
分类：
其他好文 时间：
2014-07-10 17:11:52
阅读次数：
951
原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapRed...
分类：
编程语言 时间：
2014-07-09 14:38:04
阅读次数：
266
一.epoll概述epoll是linux下的一个系统调用，用来监听大量文件描述符并对其上的触发事件进行处理。它是select/poll的增强版本，也是linux下多路复用io最常用的接口。要理解epoll是什么，首先得清楚什么是多路复用io。用户进行io操作需要经过内核，而如果所请求的io目前不满足...
分类：
其他好文 时间：
2014-07-08 00:50:02
阅读次数：
276
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类：
其他好文 时间：
2014-07-06 12:54:32
阅读次数：
220
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类：
移动开发 时间：
2014-07-06 12:51:21
阅读次数：
249
我的CSDN专访。
摘要：EMC公司作为全球信息存储及管理产品方面的领先公司，不久前，EMC宣布收购DSSD加强和巩固了其在行业内的领导地位，日前我们有幸采访到EMC中国的张安站，他就大数据、商业存储、Spark等给大家分享了自己的看法。...
分类：
其他好文 时间：
2014-07-06 12:03:25
阅读次数：
225
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage，并在每一个stage内产生一系列的task，并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程：val sc = new SparkConte...
分类：
其他好文 时间：
2014-07-05 21:16:38
阅读次数：
198
