此架构由8台PC 、2台防火墙、2台24口三层交换机组成，注意点：1）Load
Balance：Haprxoy+keepalived
实现高可用。2）web：Nginx+php-fpm3）DB：mysql5主从+Mongodb副本+Memcached4）IMG：Varnish+Nginx+NFS网卡...
分类：
其他好文 时间：
2014-05-21 22:50:12
阅读次数：
305
Hadoop技术内幕中指出Top
K算法有两步，一是统计词频，二是找出词频最高的前K个词。在网上找了很多MapReduce的Top
K案例，这些案例都只有排序功能，所以自己写了个案例。这个案例分两个步骤，第一个是就是wordCount案例，二就是排序功能。一，统计词频 1 package
TopK;...
分类：
其他好文 时间：
2014-05-21 22:29:14
阅读次数：
599
从今天开始，我们学习一下分布式版本控制系统Git的相关内容。在了解Git之前，我们先来对版本控制系统做一个宏观的介绍。...
分类：
其他好文 时间：
2014-05-21 17:05:50
阅读次数：
212
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门，负责创新性项目的研究和跟进，目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类：
数据库 时间：
2014-05-21 17:04:40
阅读次数：
393
使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。
有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。
一句话产品介绍:...
分类：
其他好文 时间：
2014-05-21 16:37:02
阅读次数：
363
传统的消息模型有两种模型，队列模型和发布-订阅模式。
1. 队列形式中，一群消费者可能从server那边读消息，而每条消息会流向他们中的一个。
2. 发布-订阅模式中，消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念（下面把它翻译为"消费组"），把两者结合了。。
消费者给自己标志了一个消费组名，每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例，这些消费者实例可以是不同的进程，存在在不同的机器上。
如果所有的消费者在同一个消费组里，那么这相当于是...
分类：
其他好文 时间：
2014-05-21 16:12:44
阅读次数：
279
A机器ssh登录B机器无需输入密码；当应用有服务器很多的时候输入密码很浪费时间
在Hadoop安装时要求免密码登录；一、创建在用户的home目录下创建 .ssh文件夹mkdir .ssh可以隐藏文件夹或文件内容ls -a二、
生成证书证书分为：dsa和rsassh-keygen -t rsa -P ...
分类：
系统相关 时间：
2014-05-21 06:01:09
阅读次数：
505
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
1.编译安装./configure --prefix=/usr/local/zabbix-proxy/
--enable-proxy --with-mysqlmysql zabbix_proxy<database/mysql/schema.sql2. 设置
zabbix_proxy.conf1 使用...
分类：
其他好文 时间：
2014-05-21 05:39:29
阅读次数：
353
J2EE是一系列技术标准所组成的平台，包括：Applet- Java AppletEJB-
企业级JavaBean（Enterprise Java
Beans）J2EE技术之所以赢得媒体广泛重视的原因之一就是EJB。它们提供了一个框架来开发和实施分布式商务逻辑，由此很显著地简化了具有可伸缩性和高度复...
分类：
其他好文 时间：
2014-05-21 04:42:35
阅读次数：
241
