在进行大型网站的web开发时，分布式这个词经常出现在我们面前。如：memcache、redis服务器等缓存服务器的负载均衡（分布式cache），MySQL的分布式集群（分布式DB），大量session的共享存储（分布式文件，或session服务器等），这些都会用到分布式的思想，究其根源，都要理解分布...
分类：
编程语言 时间：
2015-12-19 11:11:04
阅读次数：
203
一：背景Speculative Task，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job多个task运行速度不不一致，有的task运行速度明显要慢于其他task(比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕)，则这...
分类：
其他好文 时间：
2015-12-15 14:10:23
阅读次数：
141
环境及目标：-系统：VMWare / Ubuntu 12.04-Hadoop版本：0.20.2-我的节点配置 (完全分布式集群)Master (job tracker)192.168.221.130h1Slave (task tracker/data node)192.168.221.141h2Sl...
分类：
其他好文 时间：
2015-11-28 20:03:23
阅读次数：
303
学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法：要么找多台机器来部署（常常找不到机器）或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……）。那么，问题来了！有没有更有可行性的办法？提到虚拟化，Docker最近很是火热！不...
分类：
其他好文 时间：
2015-11-24 17:25:22
阅读次数：
301
大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一定的参考和帮助。以下为原文当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程...
分类：
Web程序 时间：
2015-11-16 00:54:34
阅读次数：
167
爱的技术可以应用到实际生活生产，做艺术向往的东西不腻和音乐。 现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目如今正在线上执行，项目名——基于Hadoop的数据分析综合管理平台。 watermark/2/text/aHR0cDovL...
分类：
其他好文 时间：
2015-10-27 17:29:38
阅读次数：
400
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 ...
分类：
Web程序 时间：
2015-10-22 23:42:09
阅读次数：
290
前言，之前曾多次搭建集群，由于疏于记录，每次搭建的时候到处翻阅博客，很是费劲，在此特别记录集群的搭建过程。0、环境：Ubuntu14.10、Hadoop2.6.0、spark-1.4.01、安装jdk1.7 （1）下载jdk-7u25-linux-i586.tar.gz； （2）解压jdk-7u.....
分类：
系统相关 时间：
2015-10-22 18:49:49
阅读次数：
2414
日志分析软件secilog1.16发布，增加了集群，离线日志导入，日志过滤和归并，日志管理，配置管理等。上篇文章1.15，有兴趣可以了解一下。本次升级主要增加以下功能：集群主要是采集器可以分布式集群部署，支持横向扩展，理论上支持海量数据。配置文件中增加了两项：secilog.mast..
分类：
其他好文 时间：
2015-10-22 15:47:59
阅读次数：
208
日志分析软件 secilog 1.16发布，增加了集群，离线日志导入，日志过滤和归并，日志管理，配置管理等。上篇文章1.15，有兴趣可以了解一下。本次升级主要增加以下功能： 集群 主要是采集器可以分布式集群部署，支持...
分类：
其他好文 时间：
2015-10-20 12:35:35
阅读次数：
261
