码迷,mamicode.com
首页 >  
搜索关键字:大数据 spark    ( 18881个结果
转:openTSDB 2.0 安装
OpenTSDB-2.0.0安装布署2014-02-27 11:07:49|分类:大数据|标签:hadoop|举报|字号订阅1、介绍OpenTSDB是一个架构在Hbase系统之上的实时监控信息收集和展示平台。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现有的报...
分类:数据库   时间:2014-07-07 08:00:49    阅读次数:780
大数据时代——你是否希望“被遗忘”
互联网上产生的越来越多的个人数据,究竟应该如何处理?这一问题最近在欧洲得到了初步的解答。今年5月13日,欧洲最高法院裁定,普通公民的个人隐私拥有“被遗忘权”。是什么样的压力,让大家迫切的希望被遗忘,大数据带给我们的究竟是足够的便捷,还是过度的关注带来巨大的压力,都已然成为人们不断争议的话题。如今人....
分类:其他好文   时间:2014-07-06 19:13:53    阅读次数:144
JSON解析 实现界面 数据分离.
JSON作为一种轻量级的数据交换格式,正在逐步取代XML,成为网络数据的通用格式基于JavaScript的一个子集易读性略差,编码手写难度大,数据量小JSON格式取代了XML给网络传输带来了很大的便利,但是却没有了XML的一目了然,尤其是JSON数据很长的时候,我们会陷入繁琐复杂的数据节点查找中JS...
分类:Web程序   时间:2014-07-06 18:09:56    阅读次数:201
Spark分析之Worker
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类:其他好文   时间:2014-07-06 12:54:32    阅读次数:220
Spark分析之Master、Worker以及Application三者之间如何建立连接
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类:移动开发   时间:2014-07-06 12:51:21    阅读次数:249
Spark分析之DAGScheduler
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage,并在每一个stage内产生一系列的task,并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程:val sc = new SparkConte...
分类:其他好文   时间:2014-07-05 21:16:38    阅读次数:198
Learn ZYNQ (9)
创建zybo cluster的spark集群(计算层面): 1.每个节点都是同样的filesystem,mac地址冲突,故: vi ./etc/profile export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
分类:其他好文   时间:2014-07-05 17:29:31    阅读次数:549
Windows下基于eclipse的Spark应用开发环境搭建
原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html一、软件下载 maven下载安装 :http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip jdk下载安装: http://...
分类:Windows程序   时间:2014-07-05 17:08:25    阅读次数:362
十分钟了解分布式计算:GraphX
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化,跟其他分布式图计算框架相比,GraphX最大的贡献是,在Spark之上提供一栈式数据解决方案,可以方便且高效地完成图计算的一整套流水作业。
分类:其他好文   时间:2014-07-05 16:50:56    阅读次数:210
分布式系统设计系列 -- 概要
在现在的“大数据”、“云平台”这些前沿技术的背景下,衍生了很多平台型技术点,Nosql、Hadoop、Storm等层出不穷。这些华丽的技术后面其实处处都离不开“分布式”这个虽然提出了很久,但是大数据、云计算带火了的技术。以致于开个玩笑说,如果不懂一些“分布式"下的技术和原理的,会有点不好意思说自己是后端开发 -- (玩笑而已!! ^_^)。...
分类:其他好文   时间:2014-07-04 08:44:53    阅读次数:216
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!