??
什么是分布式系统
分布式系统有多个含义:
1)表示计算机科学的一个研究领域,研究方向。这个层面的分布式系统比较学术,不是本文讨论的对象。
2)工程领域的实际使用的分布式系统。分布式系统是互联网应用的基石,是底层的支撑平台。本文讲的分布式系统指这个层面。
互联网应用的特点是:高并发,海量数据。互联网应用的用户数是没有上限的(取决于其开放特性),这也是和传统应用的本质区别。高并...
分类:
其他好文 时间:
2014-06-19 10:08:44
阅读次数:
399
从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。 如果你是《老友记》的粉丝,你一定不会忘记钱德勒。剧中,他总是不断地向人们解释自己的工作,似乎别人永远也搞不懂他所谓的“统计分析和数据修复专员”是做什么的?
这不能怪钱德勒,10年前,在《老友记》热播时,要向一个陌生人....
分类:
其他好文 时间:
2014-06-16 06:00:17
阅读次数:
382
I/O 问题可以说是当今互联网 Web
应用中所面临的主要问题之一,因为当前在这个海量数据时代,数据在网络中随处流动。这个流动的过程中都涉及到 I/O 问题,可以说大部分 Web 应用系统的瓶颈都是
I/O 瓶颈。本文的目的正是分析 I/O 的内在工作机制,你将了解到:Java 的 I/O 类库的基...
分类:
编程语言 时间:
2014-06-13 15:20:50
阅读次数:
377
Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark生态圈,AMPLab运用大数据、云计算、通信等各种资源,以及各种灵活的技术方案,对海量不透明的数...
分类:
其他好文 时间:
2014-06-11 06:59:31
阅读次数:
288
一、大型网站系统特点 (1)高并发、大流量:PV量巨大 (2)高可用:7*24小时不间断服务
(3)海量数据:文件数目分分钟xxTB (4)用户分布广泛,网络情况复杂:网络运营商 (5)安全环境恶劣:黑客的攻击
(6)需求快速变更,发布频繁:快速适应市场,满足用户需求 (7)渐进式发展...
分类:
Web程序 时间:
2014-06-09 20:33:09
阅读次数:
346
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分
布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop
按位存储和处理数据的能力值得人们信赖。2.高...
分类:
其他好文 时间:
2014-06-09 15:48:27
阅读次数:
201
使用sqoop将MySQL数据库中的数据导入Hbase
前提:安装好 sqoop、hbase。
下载jbdc驱动:mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令:
sqoop import --connect j...
分类:
数据库 时间:
2014-06-08 08:23:30
阅读次数:
408
文秀才文档管理系统采用了领先的文档权限控制和SSL传输加密技术,为企业中的个人、团队以及部门提供海量文档资料的安全集中存储空间,
支持文档的共享和审核协作管理,并提供强大的文档检索机制。支持上百万级文档海量存储,集中管理。类似百度文库的在线文档预览,支持Word,Excel(电子表格),ppt(幻灯...
分类:
其他好文 时间:
2014-06-08 01:37:45
阅读次数:
239
总看一些书介绍数据库方面的周边技巧,有点腻。近期买了《海量数据库解决方式》这本书来看,已经读完了,在内容方面安排还是比較有特色,内容既有国外大作那种功底知识介绍,又有国内书籍那种周边技巧介绍,感觉出不一样的风格。尽管书的题目是海量数据库解决方式,可是读完后我丝毫感觉不到海量的思想,很多其它是数据库....
分类:
数据库 时间:
2014-06-08 00:24:37
阅读次数:
215
一、大型网站系统特点 (1)高并发、大流量:PV量巨大 (2)高可用:7*24小时不间断服务
(3)海量数据:文件数目分分钟xxTB (4)用户分布广泛,网络情况复杂:网络运营商 (5)安全环境恶劣:黑客的攻击
(6)需求快速变更,发布频繁:快速适应市场,满足用户需求 (7)渐进式发展...
分类:
Web程序 时间:
2014-06-07 16:58:07
阅读次数:
305