2014年初经过深思熟虑,确定方向数据挖掘,作为今后工作生涯的追随领域。 3月份开始看机器学习的课程,到了4月底,参加阿里巴巴的大数据竞赛,便把课程学习给落下了—— 一大遗憾。 比赛的成绩可想而知,由于知识储备不够,况且还是单干,只能说还行,从七千个队伍到前五百名内,再从三百名到一百多名,然后遇到....
分类:
其他好文 时间:
2014-07-10 00:35:54
阅读次数:
183
一、阿里巴巴FastJson是一个Json处理工具包,包括“序列化”和“反序列化”两部分,它具备如下特征:速度最快,测试表明,fastjson具有极快的性能,超越任其他的Java Json parser。包括自称最快的JackJson;功能强大,完全支持Java Bean、集合、Map、日期、Enu...
分类:
Web程序 时间:
2014-07-08 00:05:32
阅读次数:
333
AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP在消息提供者和客户端的行为进行了强制规定,使得不同卖商之间真...
分类:
其他好文 时间:
2014-07-07 23:15:42
阅读次数:
326
消息中间件的定位分析 在以下的分析中,把产生消息的应用统一定义为消息的生产者,接收消息的应用统一定义为消息的消费者,尽管在mq中不使用这样的定义,而是称之为消息的发送 者和接收者。从不同的消息中间件对消息的产生者和使用者的名称定义来看,实际上已经反映出各消息中间件之间定位的差异,通过下面的分析,这种...
分类:
其他好文 时间:
2014-07-07 22:59:08
阅读次数:
301
消息中间件(message oriented middleware)是指支持与保障分布式应用程序之间同步/异步收发消息的中间件。消息是分布式应用之间进行数据交换的基本信息单位,分布式应用程序 之间的通信接口由消息中间件提供。其中,异步方式指消息发送方在发送消息时不必知道接收方的状态,更无需等待接收方...
分类:
其他好文 时间:
2014-07-07 22:46:07
阅读次数:
276
中间件调度的目标:达到极小化前端的平均响应时间、极大化服务器的系统吞率、保持服务器系统各个功能部件均处于繁忙状态和提供给前端某种貌似公平的机制。服务器的CPU、内存、网络基带是非常昂贵的资源,让它们闲置是一种浪费,让它们保持繁忙十分重要。就像生命非常珍贵,因此要一直保持学习繁忙状态,才能不浪费生命。...
分类:
其他好文 时间:
2014-07-07 14:59:27
阅读次数:
246
进程空间也称为地址空间。其特点就是被动,自己不能做什么,只提供支持。如同舞台本身不能发生任何动作,做动作的只能是演员,而那些演员就是线程,跳上来的一个演员就是一个线程。中间件的原理也是如此,它是完全被动的,只有当前端主动向它发送服务请求时,它才向前端提供所请求的服务,而中间件的服务动作也是通过开启一...
分类:
编程语言 时间:
2014-07-07 14:58:15
阅读次数:
250
在Kafka中,LogManager负责管理broker上所有的Log(每一个topic-partition为一个Log)。通过阅读源代码可知其具体完成的功能如下:
1. 按照预设规则对消息队列进行清理。
2. 按照预设规则对消息队列进行持久化(flush操作)。
3. 连接ZooKeeper进行broker、topic、partition相关的ZooKeeper操作。
4. 管理brok...
分类:
其他好文 时间:
2014-06-28 08:25:21
阅读次数:
208
一,基本概念MQ是消费-生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取或者订阅队列中的消息。MQ和JMS类似,但不同的是JMS是SUNJAVA消息中间件服务的一个标准和API定义,而MQ则是遵循了AMQP协议的具体实现和产品。RabbitMQ是一个在AMQP基础上完..
分类:
编程语言 时间:
2014-06-28 00:03:06
阅读次数:
3862
Kafka是一个分布式的消息中间件,可以粗略的将其划分为三部分:Producer、Broker和Consumer。其中,Producer负责产生消息并负责将消息发送给Kafka;Broker可以简单的理解为Kafka集群中的每一台机器,其负责完成消息队列的主要功能(接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....);Consumer从Broker获取消息并进行后续的操作。...
分类:
其他好文 时间:
2014-06-27 23:55:13
阅读次数:
387