y欢迎转载，转载请注明出处，徽沪一郎。概要“spark已经比较头痛了，还要将其运行在yarn上，yarn是什么，我一点概念都没有哎，再怎么办啊。不要跟我讲什么原理了，能不能直接告诉我怎么将spark在yarn上面跑起来，I'm a dummy, just told me how to do it.”...
分类：
其他好文 时间：
2014-07-07 14:23:52
阅读次数：
278
欢迎转载，转载请注明出处，徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster mod...
分类：
其他好文 时间：
2014-07-07 14:20:42
阅读次数：
267
欢迎转载，转载请注明出处，徽沪一郎。概要Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部...
分类：
其他好文 时间：
2014-07-07 14:18:32
阅读次数：
297
2014年6月30日 11:52:17遇到一个问题,安装了redis.so后无论怎么重启nginx 还是 php-fpm都无法加载redis最后发现重启php-fpm的参数弄错了要这样:./php-fpm -c /usr/local/web/php/etc/php.ini -y /usr/local...
分类：
Web程序 时间：
2014-07-02 00:02:34
阅读次数：
197
默认的文件下载都在 ~/Downloads 文件夹里面。按 ctrl+alt+t 打开命令。1、解压下载好的文件包，如：tar -xvf Sublime\ Text\ 2.0.2.tar.bz22、将解压出来的文件移到 /usr/local/lib/ 目录里面：mv Sublime\ Text\ 2...
分类：
其他好文 时间：
2014-07-01 22:40:55
阅读次数：
328
系统环境：CentOS 6.5 x86_64下载 PHP 源码包# wget http://cn2.php.net/distributions/php-5.5.9.tar.bz2# tar xf php-5.5.9.tar.bz2 -C /usr/local/src/添加 epel 源# rpm -...
分类：
Web程序 时间：
2014-07-01 12:34:21
阅读次数：
268
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。...
分类：
其他好文 时间：
2014-07-01 08:17:24
阅读次数：
576
用户配置目录:/etc/vsftpd/user.d为每个用户建立配置文件比如:#/etc/vsftpd/user.d/Tom编辑Tom文件,加入以下内容local_root=/home/hyq/ftp/tom#Endvi /etc/vsftpd/vsftpd.conf加上以下几行:chroot_li...
分类：
其他好文 时间：
2014-07-01 00:47:01
阅读次数：
278
亲测安装php1、tar zvxf php-5.3.8.tar.gz 2、cd php-5.3.83、./configure \ --prefix=/usr/local/php \--with-mysql=/usr/local/mysql \ --with-apxs=/usr/local/apach...
分类：
Web程序 时间：
2014-06-30 21:35:51
阅读次数：
399
本教程适用于centos
安装之前
检查nodejs
如果没安装nodejs按照以下步骤安装
$ su -
$ yum install openssl-devel
$ cd /usr/local/src
$ wget http://nodejs.org/dist/v0.10.29/node-v0.10.29.tar.gz
$ tar zxvf node-v0.10.29.tar.gz...
分类：
其他好文 时间：
2014-06-30 16:54:31
阅读次数：
296
