码迷,mamicode.com
首页 >  
搜索关键字:spark streaming redis    ( 30354个结果
ServiceStack.Redis 之 IRedisTypedClient<第四篇>
IRedisTypedClient IRedisTypedClient类相当于IRedicClient的强类型版,其方法与属性大多数与IRedisClient类似。 它支持在Redis中使用Linq查询的强大的类,它本身是一个泛型,IRedisClient的泛型方法As获得对象。 其方法原型如...
分类:其他好文   时间:2014-06-18 13:38:23    阅读次数:326
Redis11种Web应用场景
Redis的一个很大好处就是可以不用整个转入到这个数据库,而是可以沿用之前的MySQL等数据库,而仅在一些特定的应用场景通过Redis的特性提高效率。本文列出了11个这样的Web应用场景,如显示最新的项目列表、删除和过滤、排行榜等相关需求。 【51CTO精选译文】在“怎样让Redis在你的系统中发挥作用”一文中,Salvatore 'antirez’ Sanfilippo告诉我们...
分类:Web程序   时间:2014-06-18 11:35:57    阅读次数:267
Spark1.0.0 history server 配置
在运行Spark应用程序的时候,driver会提供一个webUI给出应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口,也就是说,Spark应用程序运行完后,将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history serve...
分类:其他好文   时间:2014-06-18 07:45:40    阅读次数:250
Spark技术内幕:Client,Master和Worker 通信源码解析
本文分析了Spark1.0.0的Client,Master和Worker之间是如何通信的。通过对通信的分析,可以清楚的理解各个角色的作用和责任,和它在集群中扮演的不同角色。 当然了,为了便于源码分析,本文开始分析了akka,一个非常优秀的actor的实现:高性能,易于编程,可扩展和弹性无中心。...
分类:其他好文   时间:2014-06-18 06:59:54    阅读次数:183
redis持久化与可用性
redis持久化与可用性...
分类:其他好文   时间:2014-06-18 06:35:54    阅读次数:201
Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
本文就standalone部署方式下的容错性问题做比较细致的分析,主要回答standalone部署方式下的包含哪些主要节点,当某一类节点出现问题时,系统是如何处理的。组成cluster的不同节点,启动时有没有固定的顺序,为什么是这样的顺序,针对这些问题,本文会做一个详尽的分析。
分类:其他好文   时间:2014-06-18 00:10:53    阅读次数:253
Spark编程实现SQL查询的实例
1、Oracle中的SQL select count(1)from a_V_PWYZL_CUSTACCT_PSMIS t where not exists (select 1 from tb_show_multi_question q WHERE q.dqmp_rule_code = '仅比对系统有...
分类:数据库   时间:2014-06-17 23:29:32    阅读次数:309
关于 redis、memcache、mongoDB 的对比(转载)
from:http://yang.u85.us/memcache_redis_mongodb.pdf从以下几个维度,对 redis、memcache、mongoDB 做了对比。1、性能都比较高,性能对我们来说应该都不是瓶颈。总体来讲,TPS 方面 redis 和 memcache 差不多,要大于 m...
分类:数据库   时间:2014-06-17 20:22:01    阅读次数:305
Setup Spark source code environment
1. Install Java and set JAVA_HOME2. Install IntelliJ IDH and Scala plugin3. Download spark1.0.04. Generate a workspace for IDEA[shaochen@linux spark-1...
分类:其他好文   时间:2014-06-17 19:55:22    阅读次数:262
hadoop streaming 编程
概况Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程。一个最简单的程序$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar-input myInputDirs...
分类:其他好文   时间:2014-06-17 15:33:54    阅读次数:330
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!