码迷,mamicode.com
首页 >  
搜索关键字:spark streaming redis    ( 30354个结果
ZOJ3379 Master Spark
(¦3[____]← 扫描线问题,抛物线方程为 y=a*x*x 形式,对每个点求出抛物线中轴的范围theta-delta~theta+delta,theta = atan2(y,x),delta则用方程组可解x*x+y*y=z*z+(a*z*z)^2,tan(theta)=z/(a*z*z),故th...
分类:其他好文   时间:2014-07-16 19:21:57    阅读次数:191
spark热点互动问答
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1:我想问,hdfs的namenode挂了,怎么处理? 使用ZooKeeper; 使用Mesos; 使用Yarn;Q2:用python和scala区别大吗? 就代码的风格而言是不大的; 世界上也有很多人使用python开发...
分类:其他好文   时间:2014-07-16 19:09:29    阅读次数:294
cenOS系统,chkconfig设置程序开机自启--mysql、tomcat、redis、fastdfs--nginx/fdfs_trackerd/fdfs_storaged
设置程序开机启动就是将程序的启动脚本添加到/etc/init.d目录下,或者将启动路径写入/etc/rc.d/rc.local文件里面.设置mysql开机启动cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql chk...
分类:数据库   时间:2014-07-16 18:41:09    阅读次数:1427
Spark 1.0.0 部署Hadoop 2.2.0上
源码编译我的测试环境:系统:Centos 6.4 - 64位Java:1.7.45Scala:2.10.4Hadoop:2.2.0Spark 1.0.0源码地址:http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz解压源码,在根去根目录下执行以下命...
分类:其他好文   时间:2014-07-16 18:01:44    阅读次数:405
关于mongodb ,redis,memcache之间见不乱理还乱的关系和作用
先说我自己用的情况:最先用的memcache ,用于键值对关系的服务器端缓存,用于存储一些常用的不是很大,但需要快速反应的数据 然后,在另一个地方,要用到redis,然后就去研究了下redis. 一看,显示自己安装了php扩展,因为有服务器上的redis服务端,自己本地就没有安装,其实用法和memc...
分类:数据库   时间:2014-07-16 17:54:00    阅读次数:388
Scala环境搭建之eclipse
因为Spark的缘故,我们来看看另外一门语言——Scala,为什么要看这门语言呢?唉~其实你不看也没关系,只不过spark的内核就是用Scala写的,spark也提供其他语言的编程模型....看自己爱好啦~ 1、下载 地址:http://www.scala-lang.org/download/2.11.1.html  下载安装即可,这没什么好说的,如果不会,那我建议你也不要做开发了,回家...
分类:系统相关   时间:2014-07-16 17:36:24    阅读次数:263
整理对Spark SQL的理解
Catalyst定位 其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询,需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。 对应上图中,主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程,物理执行计划基于成本的优化模型,具体物理算子的执行都由系统自己实现。 Catalyst现状 在解析器方面提供的是一个简单的scala...
分类:数据库   时间:2014-07-16 17:34:38    阅读次数:391
RTSP协议
1.RTSP与几个相关协议RTSP(Real Time Streaming Protocol)实时流协议,是用来控制声音或影像的多媒体串流协议,并允许同时多个串流需求控制,传输时所用的网络通讯协定并不在其定义的范围内,服 务器端可以自行选择使用TCP或UDP来传送串流内容.用于多媒体数据流的控制,如...
分类:其他好文   时间:2014-07-16 17:06:23    阅读次数:415
Redis性能调优:保存SNAPSHOT对性能的影响
前一段时间,开发环境反馈,Redis服务器访问非常慢,每个请求要数秒时间,重启之后2~3天又会这样。 我查看了一下Linux的性能,没有什么问题。通过 # redis-cli --latency 发现访问Redis确实很慢,执行info要几秒时间。里面有个参数已连接的客户端几万个,通过 Redis>client list 查看到很多client的age都很大,一直没有释放。于是怀疑是不是...
分类:其他好文   时间:2014-07-16 10:06:52    阅读次数:271
memcached几个容易被忽略但非常有用的命令
Memcached从1.2.4版本新增CAS(Check and Set)协议,用于处理同一个ITEM(key-value)被多个session更新修改时的数据一致性问题。 你曾经是否也有想知道memcached里面都存了哪些数据的需求,你是否也曾经在寻找一个方法能像redis一样可以遍历memcached所有的key...
分类:其他好文   时间:2014-07-14 17:12:19    阅读次数:226
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!