在飞速发展的云计算大数据时代,Spark是继Hadoop之后,成为替代Hadoop的下一代云计算大数据核心技术,目前Spark已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且是Apache顶级Project,可以预计的是2014年下半年.....
分类:
其他好文 时间:
2014-07-03 10:43:37
阅读次数:
181
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询...
分类:
其他好文 时间:
2014-07-03 10:19:26
阅读次数:
208
最近搞redis存储对象出了点问题,大概说一下背景,项目原有的东东以前存的是redis,存储的直接是对象模型,没有问题,这里存储对象存储任何信息事都没有问题的。但是现在调整为存储序列化的json字符串,此时获取对象信息发生了问题,不是报错就是有乱码似的东东,一开始以为是编码问题,其实不准确,现在来....
分类:
其他好文 时间:
2014-07-02 21:22:13
阅读次数:
674
安装下载,解压和安装:其他下载地址GitHub,Google Code。$ wget http://download.redis.io/releases/redis-2.8.11.tar.gz$ tar xzf redis-2.8.11.tar.gz$ cd redis-2.8.11$ make编译...
分类:
其他好文 时间:
2014-07-02 19:40:00
阅读次数:
275
实验目的:
让Nginx支持flv和mp4格式文件,支持RTMP协议的直播和点播;
同时打开RTMP的HLS功能
?资料:
HTTP Live Streaming(缩写是 HLS)是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。
HLS只请求基本的HTTP报文,与实时传输协议(RTP)不同,HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。
它也很容易使用内容分...
分类:
其他好文 时间:
2014-07-02 16:37:24
阅读次数:
170
我用的系统是:redhat[root@infa~]#wgethttp://download.redis.io/releases/redis-2.8.12.tar.gztarxzfredis-2.8.12.tar.gz[root@infa~]#tarxzfredis-2.8.12.tar.gz[roo...
分类:
系统相关 时间:
2014-07-02 14:32:48
阅读次数:
271
Spark目前支持多种分布式部署方式:一、Standalone Deploy Mode;二Amazon EC2、;三、Apache Mesos;四、Hadoop YARN。第一种方式是单独部署,不需要有依赖的资源管理器,其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之...
分类:
其他好文 时间:
2014-07-02 13:48:43
阅读次数:
299
本文仅针对RabbitMQ与Redis做队列应用时的情况进行对比具体采用什么方式实现,还需要取决于系统的实际需求简要介绍RabbitMQRabbitMQ是实现AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。...
分类:
其他好文 时间:
2014-07-02 10:35:35
阅读次数:
243
ngx_lua将lua嵌入到nginx,让nginx执行lua脚本,高并发,非阻塞的处理各种请求。
url请求nginx服务器,然后lua查询redis,返回json数据。...
分类:
其他好文 时间:
2014-07-02 09:28:21
阅读次数:
457
前言
NoSQL:not only SQL(可不是No SQL啊),它的意义是:在适用关系型数据库的时候使用关系数据库,但是在不适合用关系型数据库的地方使用其他数据库。NoSQL的出现主要是为了弥补关系型数据库的不足,可以算是关系型数据库的一个补充吧。但是必须明白一点,NoSQL不是为了取代关系型数据库,也无法取代关系型数据库,它和关系型数据库是各有优点的。
和关系型数据库的比较
要讲解No...
分类:
数据库 时间:
2014-07-02 08:33:09
阅读次数:
248