之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq,Fqueue, RabbitMQ, Beanstalkd以及linkedin的kafka。RabbitMQ使用比较广泛,Beanstalkd是后起之秀。Beanstalkd之于RabbitMQ,就好比Nginx之于Apac ...
分类:
其他好文 时间:
2016-09-27 18:00:15
阅读次数:
192
参考资料: 监控告警文章:http://www.open-open.com/lib/list/320?pn=0 Zabbix:http://www.open-open.com/lib/view/open1428628591140.html LinkedIn 部署和监控平台:glu:http://ww ...
分类:
其他好文 时间:
2016-09-23 16:29:09
阅读次数:
126
摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的 ...
分类:
其他好文 时间:
2016-09-13 20:46:05
阅读次数:
242
https://engineering.linkedin.com/blog/2016/05/open-sourcing-kafka-monitor https://github.com/linkedin/kafka-monitor https://github.com/Microsoft/Avail... ...
分类:
其他好文 时间:
2016-09-13 16:04:53
阅读次数:
223
Kafka的部署 1. kafka简介 Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统 ...
分类:
其他好文 时间:
2016-08-19 22:16:20
阅读次数:
165
Zookeeper和zkui介绍以及部署 ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。 ...
分类:
其他好文 时间:
2016-08-19 22:12:11
阅读次数:
316
WikiPedia技术架构学习分享YouTube的架构扩展InternetArchive的海量存储浅析LinkedIn架构笔记Tailrank网站架构Twitter的架构扩展:100倍性能提升财帮子(caibangzi.com)网站架构Yupoo!的网站技术架构37Signals架构Flickr的访问统计实现以及其他PlentyOfFish网站架构学习Yahoo!..
分类:
Web程序 时间:
2016-08-15 22:49:47
阅读次数:
240
支付宝系统架构概况大数据典型处理默认大数据资金处理平台大数据财务会计大数据支付清算大数据核算中心大数据交易大数据柔性事务支付宝的开源分布式消息中间件--Metamorphosis(MetaQ)Metamorphosis(MetaQ)是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kaf..
分类:
其他好文 时间:
2016-08-11 23:07:06
阅读次数:
225
1. 机器学习更多应用举例: 人脸识别 2. 机器学习就业需求: LinkedIn所有职业技能需求量第一:机器学习,数据挖掘和统计分析人才 http://blog.linkedin.com/2014/12/17/the-25-hottest-skills-that-got-people-hired- ...
分类:
编程语言 时间:
2016-08-03 15:06:44
阅读次数:
328
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低 ...
分类:
其他好文 时间:
2016-08-03 10:20:28
阅读次数:
236