码迷,mamicode.com
首页 >  
搜索关键字:spark streaming jobscheduler    ( 7564个结果
Tachyon基本使用01-----Tachyon简介
一、Tachyon介绍Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的Jobs/Queries以及框架都能内存的速度来访..
分类:其他好文   时间:2014-10-14 21:33:59    阅读次数:638
Tachyon基本使用02-----Tachyon本地模式安装
一、配置系统环境1.清除默认防火墙规则#serviceiptablessave iptables:将防火墙规则保存到/etc/sysconfig/iptables:[确定]2.关闭Selinux#cat/etc/sysconfig/selinux|grepSELINUX|grep-v^# SELINUX=disabled SELINUXTYPE=targeted #3.配置ip地址#cat /etc/sysconfig/network-s..
分类:其他好文   时间:2014-10-14 21:32:29    阅读次数:298
Tachyon基本使用04-----Tachyon配置项
一、Tachyon配置说明Tachyon配置参数分为4类:Master,Worker,Common(MasterandWorker),andUserconfigurations。环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template..
分类:其他好文   时间:2014-10-14 20:55:19    阅读次数:242
Tachyon基本使用05-----Tachyon集群模式安装
一、环境配置1.集群环境主机名IP角色 Node1192.168.1.1TachyonMaster、TachyonWorker Node2192.168.1.2TachyonWorker Node3192.168.1.3TachyonWorker2.每个节点上清空iptables规则#serviceiptablessave iptables:将防火墙规则保存到/etc/sysconfig/iptables:[确定] #3.每个节..
分类:其他好文   时间:2014-10-14 20:54:10    阅读次数:174
2014年spark开发者大赛火热进行中!
“发现最有正能量的网络达人”,Spark开发者大赛火热进行! ????? 2014年9月30日,2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒...
分类:其他好文   时间:2014-10-14 20:39:29    阅读次数:249
2014年spark开发者大赛火热进行中!
“发现最有正能量的网络达人”,Spark开发者大赛火热进行!2014年9月30日,2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业...
分类:其他好文   时间:2014-10-14 20:01:23    阅读次数:230
Tachyon基本使用03-----Tachyon Web UI
一、主页描述了当前系统状态信息,包括Tachyon汇总状态、集群汇总状态、和节点汇总状态。二、系统配置查看页面三、文件系统查看页面四、查看在内存中的文件页面
分类:Web程序   时间:2014-10-14 19:50:00    阅读次数:205
2014年spark开发者大赛火热进行中!
2014年最热门的IT技术大赛,由Spark亚太研究院联合国内领先的IT技术创新。面向云计算大数据从业者、Spark技术爱好者及数百所高校在读学生。无论是对Spark有浓厚兴趣的初学者、或者Spark应用高手,还是Spark源码级别大牛,都可以借助本次大赛,一展才华,就Spark技术与应用实践展开交流及切磋。...
分类:其他好文   时间:2014-10-14 19:40:09    阅读次数:221
2014年spark开发者大赛火热进行中!
“发现最有正能量的网络达人”,Spark开发者大赛火热进行!2014年9月30日,2014Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从..
分类:其他好文   时间:2014-10-14 19:30:40    阅读次数:275
spark出现GC overhead limit exceeded和java heap space
spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大 ????...
分类:编程语言   时间:2014-10-14 13:47:28    阅读次数:189
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!