由于项目需要,最近对storm进行了预研,安装与使用方式网上有很多示例,在此记录一下,备忘。 一、storm简介 ????Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。S...
分类:
其他好文 时间:
2014-08-06 12:04:11
阅读次数:
409
官方的解释这个类为:/** * A simple, durable, atomic K/V database. *Very inefficient*, should only be * used for occasional reads/writes. Every read/write hits d...
分类:
其他好文 时间:
2014-08-05 22:23:00
阅读次数:
321
博文作者:迦壹博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=545转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!-------------------------------------...
分类:
系统相关 时间:
2014-08-05 18:58:49
阅读次数:
445
pip - Python包管理工具https://pip.pypa.io/en/latest/installing.htmlwget https://bootstrap.pypa.io/get-pip.pypython get-pip.pyRedis (NoSQL)http://www.redis....
分类:
编程语言 时间:
2014-08-05 15:28:29
阅读次数:
303
一.当读取一个1.5G的文件写入redis时候,机器资源不够,被系统杀掉进程,实验数据上限作罢. redis string理论支持1GB 二.场景:redis 2.6以上版本已经废弃了vm功能,配置文件已关闭redis持久化功能 当reids占用内存大于分配的内存的时候. 1.volatile-lr...
分类:
其他好文 时间:
2014-08-05 13:33:19
阅读次数:
2130
redis对于持久化有快照及aof日志文件两种形式。 快照db文件,长处是二进制,大小比aof日志文件小。但会丢失最后一次成功备份时间到down机时间的数据。 aof相比而言文件大小就大了点,但相对快照来讲,不大easy丢失文件。 眼下redis检查数据文件是否有错对于快照及aof都可以支持,但修....
分类:
其他好文 时间:
2014-08-05 13:30:59
阅读次数:
344
在全面介绍Storm之前,我们先通过一个简单的Demo让大家整体感受一下什么是Storm。
Storm运行模式:
本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个模式中,Storm的所有组件都...
分类:
其他好文 时间:
2014-08-04 18:00:17
阅读次数:
290
spring同时集成redis和mongodb时遇到多个资源文件加载的问题这两天平台中集成redis和mongodb遇到一个问题单独集成redis和单独集成mongodb时都可以正常启动程序,但是当两个同时集成进去时就会报以下问题Could not resolve placeholder 'mong...
分类:
编程语言 时间:
2014-08-04 17:11:47
阅读次数:
292
一、Storm概述
Storm是一个分布式的、可靠的、零失误的处理流式数据的系统。它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件,而Spout又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理,也有可能传递给下一个Bolt。我们可以把Storm集群想象成一个由bolt组件组成的链条集合,数据在这些链条上传输...
分类:
其他好文 时间:
2014-08-04 10:59:37
阅读次数:
273
attribute:using System;using System.Collections.Generic;using System.Linq;using System.Web;using System.Web.Mvc;using ServiceStack.Redis;namespace Red...
分类:
其他好文 时间:
2014-08-04 01:55:36
阅读次数:
276