欢迎转载，转载请注明出处，徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster mod...
分类：
其他好文 时间：
2014-07-07 14:20:42
阅读次数：
267
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
本人喜爱玩游戏，读研之前一直玩的是单机游戏，从没玩过角色扮演网络游戏。直到去年9月偶然玩起了DNF这样一款网游，一发不可收拾玩到现在还没收手。说来惭愧，玩了大半年大半部分时间是在玩外挂。 可能是我对外挂比对游戏本身更感兴趣吧。从开始买人家的外挂，到后来完全用上了免费挂，自己也能整出部分功能来。应该....
分类：
其他好文 时间：
2014-07-01 22:22:48
阅读次数：
265
负载均衡是集群部署中的一种，通过多个节点来承担邮件服务的工作，每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求，适用于大容量用户使用。集群技术解析集群（Cluster）技术是指...
分类：
其他好文 时间：
2014-07-01 18:00:42
阅读次数：
267
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Serv...
分类：
数据库 时间：
2014-06-30 22:41:02
阅读次数：
285
故障重现：某集团准备测试使用SCVMM2012R2来管理当前企业内部异构虚拟环境及群集，计划测试后正式上线，测试途中，添加了一个现有的Hyper-v群集，But，添加失败了，在SCVMM中，无法删除失败的群集，而且继续添加群集。解决思路：首先尝试使用Powershell语句，强行Remove群集，..
分类：
其他好文 时间：
2014-06-29 21:11:05
阅读次数：
424
应用和数据库发展cluster还需要HA软件吗？所谓集群技术（cluster），也有译为群集，涵盖了三个技术方向：高可用HA（HighAvailability）;负载均衡LB（LoadBalance）;高性能运算HPC（HighPerformanceComputing）。对于商业领域的IT应用主要关心高可用HA和负载均衡LB这两部分。为..
分类：
数据库 时间：
2014-06-28 06:49:09
阅读次数：
396
今天升级一个10g的集群环境到10.2.0.5，网上下载补丁包p8202632_10205_Linux-x86-64.zip,解压后安装执行，中途报错：
I/O ERROR cannt reading or opening file in /tmp/...../temp52
网上查资料如下：
根据MOS的说明，导致这个错误可能有如下原因：
a) Insufficient f...
分类：
数据库 时间：
2014-06-27 09:06:41
阅读次数：
267
