Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD，及其在内存上的容错，内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类：
其他好文 时间：
2014-06-14 20:42:37
阅读次数：
326
Petuum是一个分布式机器学习专用计算框架，本文介绍其架构，并基于文章 More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server，NIPS 2013 重点探讨其核心内容SSP协议。主要思想Para...
分类：
其他好文 时间：
2014-06-14 20:39:34
阅读次数：
261
在CentOS系统中，修改主机名称的步骤如下：
1. 修改network文件
编辑network文件，配置如下：
vi /etc/sysconfig/network
配置
NETWORKING=yes
HOSTNAME=Hadoop-cluster
2 加载配置hostname Hadoop-cluster
hostname...
分类：
其他好文 时间：
2014-06-14 12:19:44
阅读次数：
181
写了几天，用OSG，实现了集群渲染，感觉还不错，线性加速比还算可以。采用KDTree 、八叉树管理场景，场景数据通过UDP和TCP。
不用拷贝文件，直接在线读取。效率基本满帧。如图：
这个 3*2 的一个投影墙：（渲染节点）...
分类：
其他好文 时间：
2014-06-14 12:14:35
阅读次数：
2302
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
1、pig安装 1）解压，重命名、设置环境变量，同hadoop 2）编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类：
其他好文 时间：
2014-06-14 11:40:40
阅读次数：
205
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
关于Nginx+tomcat+memcached（缓存）配置集群负载均衡的下载与安装流程：
实现的整体步骤
一：安装memcached。（memcached可以一个或者多个）
二：安装两个tomcat
三：配置msm。
四：安装nginx，实现负载均衡。
以下是详细步骤：
第一步：安装memcached
1. 下载memcached服务...
分类：
其他好文 时间：
2014-06-14 11:14:00
阅读次数：
229
1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址 1.1.1设置宿主机的VirtualBox Host-only Network网路设置 IP地址：192.168.56.1 子网掩码：255.255.255.0 默认网关：不填 ...
分类：
其他好文 时间：
2014-06-14 09:50:02
阅读次数：
207
