“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】 ? Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如下所示: Cluste...
分类:
其他好文 时间:
2014-09-04 19:35:40
阅读次数:
326
1.DAS: 开放系统的直连式存储(Direct-Attached Storage),直连式存储与服务器主机之间的连接通道通常采用SCSI连接 //随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将...
分类:
其他好文 时间:
2014-09-04 17:13:40
阅读次数:
182
Core Data是iOS中很重要的一个部分,可以理解为基于SQLite(当然也可以是其他的Storage,如In-memory,只是SQLite比较常见)的一个ORM实现,所以有关系数据库的特性,又不用写SQL。顺便吐一下槽,官方说法是使用Core Data能减少50%-70%的代码量,但相信用过...
分类:
移动开发 时间:
2014-09-04 13:06:49
阅读次数:
308
crmsh是PacemarkerHACluster的重要组成部分,本身也是OpenSUSEha-cluster的一部分(换句话说crmsh在OpenSUSE中是支持的)。CentOS默认没有crmsh的yum源,因此可以借用OpenSUSE的源(OpenSUSE的包也是rpm)。操作步骤很简单首先先进入yum源的安装目录,下载repo配置文件,(返回..
分类:
其他好文 时间:
2014-09-04 10:36:59
阅读次数:
737
线程局部存储(ThreadLocalStorage),简称TLS,提供了一种存储线程私有数据的方式,每个线程的私有数据对其他线程均不可见。Chromium是一个多进程多线程架构的浏览器,运行时会创建多达30几个线程,其中很多线程需要拥有自己私有数据,在TLS数量有限的系统上,例如Android4.3或更..
分类:
移动开发 时间:
2014-09-04 03:04:08
阅读次数:
1067
MySQL集群安装与配置文章目录[隐藏]一、mysql集群安装二、节点配置三、首次启动节点四、测试服务是否正常五、安全关闭和重启MySQLCluster 是 MySQL 适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQ...
分类:
数据库 时间:
2014-09-04 01:26:27
阅读次数:
336
spark对内存有一定的要求,内存不够会因为gc而oom。
1、默认情况下,一个worker的内存0.6用于cache,0.4用于task,可以通过设置该值提高每个worker的cache大小
spark.storage.memoryFraction 0.8
2、设置并行task数,提高reducer效率
spark.default.parallelism 4
这个在1....
分类:
其他好文 时间:
2014-09-03 21:21:47
阅读次数:
338
配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集...
分类:
其他好文 时间:
2014-09-03 17:00:37
阅读次数:
193
Object Storage UploaderOverviewWe’ve recently added the option to import customer-supplied Virtual Hard Disks (VHDs) to our object storage offering. T...
分类:
其他好文 时间:
2014-09-03 16:39:26
阅读次数:
205
本文转自:http://blogs.msdn.com/b/azchina/archive/2010/03/11/windows-azure-table-storage.aspx本文是Windows Azure入门教学的第六篇文章。本文将会介绍如何使用Table Storage。Table Stora...