一：起因
（1）学习IT的人，不论是写前端还是后台；有时候需要对数据进行清洗处理，例如，数据库日志分析。
（2）处理数据的大小由MB 到 GB，在到TB，最后导致处理的每一个文件都超过java jvm初始的heap
（3）对于单个文件比较小的，并行要求不高的数据，我们可以通过更改JVM的初始参数进行解决 —— 但是这并不是根本的解决办法。
（4）根本的解决办法是hadoop分布式系统下的M...
分类：
编程语言 时间：
2014-11-14 15:41:19
阅读次数：
201
我自身没有独立自主开发和部署过 分布式系统，只有一点自己的理论上的经验。Boss之前在支付宝干活，最近发现项目中的一些疑惑时，向他请教，了解到了支付宝等互联网公司的一些情况，当然还有一些他自己的想法。 分布式系统的一点思考：多个项目，模块化，不同的模块使用不同的域名。图片和js、css存放在单独的域名。 有的模块服务化，处理 账务-用户等公共的操作，比如WebService实现。 有的...
分类：
其他好文 时间：
2014-11-14 14:18:17
阅读次数：
127
zookeeper是针对大型分布式系统的高可靠的协调系统。由此，我们可
知，zookeeper是个协调系统，它的作用对象是分布式系统。那么，为什么分
布式系统需要一个协调系统呢？原因如下：
开发分布式系统是件灰常困难复杂的事情，其中的困难主要体现在分布式
系统的“部分失败”。“部分失败”是指信息在网络的两个节点之间传送的时
...
分类：
其他好文 时间：
2014-11-13 22:34:10
阅读次数：
342
最近一直在忙WebPageTest（以下简称wpt）开源库的修改工作，其中一项工作需要将zookeeper（以下简称zk）集成到wpt里。zk作为分布式系统的同步工具，实现了写的原子性（要么失败，要么成功，并不存在写一半的情况），并通过“选举组长“和”重选组长“，在负载均衡的同时保证数据一致性。关于zk服务端的设计，可以参考官网http://zookeeper.apache.org/。
...
分类：
其他好文 时间：
2014-11-13 12:58:48
阅读次数：
294
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现，其同时支持别的存储系统，并在别的存储系统上运行分布式计算程序（mapreduce）。 从开发角度来说，h...
分类：
其他好文 时间：
2014-11-11 09:22:37
阅读次数：
239
云计算设计模式（二十）——调度程序代理管理者模式
协调一系列在分布式服务集和其他远程资源的的行为，试图透明地处理故障，如果这些操作失败，或撤销，如果系统不能从故障中恢复执行工作的影响。这种模式可以分布式系统中增加弹性和灵活性，使之恢复和重试失败是由于短暂的异常，持久的故障和处理故障等操作。...
分类：
其他好文 时间：
2014-11-10 12:09:46
阅读次数：
178
jms即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。jms同时也可...
分类：
其他好文 时间：
2014-11-08 13:26:36
阅读次数：
164
一、概念Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。二、适用场合1.分布式应用。由于memcached本身基于分布式的系统，所以尤其适合大型的分布式系统。2.数据库前段缓存。数据库常常是网站...
分类：
系统相关 时间：
2014-11-04 12:44:42
阅读次数：
210
计算机网络是指由通讯线路相互连接的许多自主工作的计算机构成的集合体；比计算机网络更高级的是分布式系统：在计算机网络的基础上为用户提供了透明的集成应用环境。用户可以用名字或命令调用网络中的任何资源或进行远程的数据处理，而不必考虑这些资源或数据的地理位置。与计算机网络类似的是多级系统：指同一机房中毒的许...
分类：
其他好文 时间：
2014-11-04 00:08:17
阅读次数：
176
问题：为什么要导入导出为csv文件呢？
（1）所谓大数据处理，仅仅关心某些列的数据，而非整个表结构，这些数据就需要保存为csv通用的存储格式，不仅可以在widows下作为文本文件进行处理；也可以在hadoop分布式系统上上进行处理；
（2）mysql 数据库 迁移为 Oracle 、SQLServer数据库，或者反过来，由于各自的设计不同，不能直接的导入导出为dmb sql等格式的文件...
分类：
数据库 时间：
2014-11-03 11:30:36
阅读次数：
280
