zookeeper是apache下面一个高性能分布式协调调度框架，很多分布式计算框架都需要用到它，例如Hadoop。最近项目中用到了kafka，kafka的集群也需要用到zookeeper，所以这里记一下zookeeper集群的搭建。zookeeper正常运行有一个前提，那就是要求集群中过半服务器正常运行。下面搭..
分类：
其他好文 时间：
2017-04-04 01:24:08
阅读次数：
179
我们 所 使用密码的加密方式 大多为md5 加密 但是一些不法分子 利用 云计算 分布式计算 可以暴力破解我们的密码 我们通过 加入盐值的方式 加密 密码使得密码 不会被轻易破解 ...
分类：
其他好文 时间：
2017-04-01 19:57:12
阅读次数：
139
分布式计算框架Hadoop 1 Hadoop是什么？ Hadoop是一种开源的适合大数据的分布式存储和处理的平台。 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Apache Had ...
分类：
其他好文 时间：
2017-03-19 16:05:27
阅读次数：
387
关于MR的工作原理不做过多叙述，本文将对MapReduce的实例WordCount(单词计数程序)做实践，从而理解MapReduce的工作机制。 WordCount: 1.应用场景，在大量文件中存储了单词，单词之间用空格分隔 2.类似场景：搜索引擎中，统计最流行的N个搜索词，统计搜索词频率，帮助优化 ...
分类：
其他好文 时间：
2017-03-19 14:17:04
阅读次数：
328
本文假设你已经具有一定分布式计算的基础知识。你将在第一部分看到以下内容： ZooKeeper数据模型 ZooKeeper Sessions ZooKeeper Watches 一致性保证(Consistency Guarantees) ZooKeeper数据模型 ZooKeeper Sessions ...
分类：
其他好文 时间：
2017-03-11 11:45:56
阅读次数：
260
对于我这样一个一直工作在.net平台上的developer来讲，Hadoop,Spark,HBase等这些大数据名词比较陌生，对于分布式计算，.net上也有类似的Parallel（我说的不是HDInsight）， 这篇文章是我尝试从.net上的Parallel类库的角度去讲述什么是spark。 我们 ...
分类：
Web程序 时间：
2017-03-10 16:45:50
阅读次数：
243
1. MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。2. MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。 ...
分类：
其他好文 时间：
2017-02-25 01:14:37
阅读次数：
279
引言：本文作者BenTreynorSloss，Google运维团队的高级副总裁，SRE名称的发明者，在这里提供了他对SRE的定义。本文选自《SRE：Google运维解密》。大家都知道，计算机软件系统离开人通常是无法自主运行的。那么，究竟应该如何去运维一个日趋复杂的大型分布式计算系统呢？雇佣系..
分类：
其他好文 时间：
2017-02-22 15:15:42
阅读次数：
230
前言*Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景（日志分析和索引..
分类：
其他好文 时间：
2017-02-21 20:00:49
阅读次数：
269
linuxnfs文件共享◆一、概念NFS是网络文件系统（NetworkFileSystem）的简称，是分布式计算机系统的一个组成部分，可实现在异构网络上共享和装配远程文件系统。NFS由SUN公司开发，目前已成为文件服务的一种标准（RFC1904,RFC1813）。其最大的功能就是可以通过网络，让不同操作系..
分类：
系统相关 时间：
2017-02-11 14:56:16
阅读次数：
315
