1 UUID简介 UUID含义是通用唯一识别码 (Universally Unique Identifier),这是一个软件建构的标准, 也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算环境 (Distributed Computing E ...
分类:
编程语言 时间:
2018-01-22 14:05:37
阅读次数:
207
博主前面因为太忙没有时间更新博文,从今天开始博主会用博文记录自己学习Hadoop的整个过程,欢迎感兴趣的朋友关注! Hadoop是什么? Hadoop是一个开源框架,可编写和运行分布式应用处理大规模数据。分布式计算是一个宽泛并且不断变化的领域,Hadoop的优势在于: 1) 方便:Hadoop运行在 ...
分类:
其他好文 时间:
2018-01-21 12:35:47
阅读次数:
291
hadoop的核心组件:hdfs(分布式文件系统)、mapreduce(分布式计算框架)、Hive(基于hadoop的数据仓库)、HBase(分布式列存数据库)、Zookeeper(分布式协作服务)、Sqoop(数据同步工具)和Flume(日志手机工具) hdfs(分布式文件系统): 由client ...
分类:
其他好文 时间:
2018-01-20 00:24:52
阅读次数:
604
1、HDFS? HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来
分类:
其他好文 时间:
2018-01-13 20:45:15
阅读次数:
150
与传统的浅层机器学习相比, 深度学习具有优秀的自动提取抽象特征的能力,并且随着分布式计算平台的快速发展,大数据的处理能力得到极大的提升,使得近年来DL在工程界得到广泛的应用,包括图像识别,语音识别,自然语言处理等领域,并取得比传统机器学习更好的效果提升。另一方面,智能推荐系统,本质上是从一堆看似杂乱 ...
分类:
其他好文 时间:
2018-01-13 18:54:14
阅读次数:
1132
1.Hadoop是一个开源的大数据框架 2.Hadoop是一个分布式计算的解决方案 3.Hadoop = HDFS(分布式文件系统) + MapReduce(分布式计算) Hadoop两大核心 HDFS分布式文件系统:存储是大数据技术的基础 MapReduce编程模型:分布式计算是大数据应用的解决方 ...
分类:
其他好文 时间:
2018-01-09 11:43:48
阅读次数:
133
前言:传统的USB光驱,移动硬盘的安装方式在web集群,分布式计算等以力所难及。通过源码编译的方式安装程序在灵活性,可定制性等方面具有无可比拟的优势,但在大规模的服务器群应用存在一定的局限性。YUM仓库实现基于网络的软件包安装,更新,卸载的规范化管理;可自动查找并解决rpm包之间的依赖关系,无须手动安装和卸载每一个rpm包。部署YUM软件仓库,实现客户端通过ftp方式安装,卸载,更新软件1、实验环
分类:
其他好文 时间:
2018-01-04 11:08:44
阅读次数:
144
概述 MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群,通过无共享 ...
分类:
数据库 时间:
2017-12-29 15:30:15
阅读次数:
190
缓存这种能够提升指令和数据读取速度的特性,随着本地计算机系统向分布式系统的扩展,在分布式计算领域中得到了广泛的应用,称为分布式缓存。 缓存这种能够提升指令和数据读取速度的特性,随着本地计算机系统向分布式系统的扩展,在分布式计算领域中得到了广泛的应用,称为分布式缓存。 中文名分布式缓存外文名Distr ...
分类:
其他好文 时间:
2017-12-17 22:26:09
阅读次数:
190
以下内容来自 wikipedia 分布式计算: 计算机科学中研究分布式系统的领域。 分布式系统: 位于网络计算机上的各成分通过传递信息来通讯和协作它们的行为。 这些成分相互作用以达到一个共同的目的。 其3个显著特征为: 1. 成分的并发(concurrency) 2 缺少一个全局时钟(global ...
分类:
其他好文 时间:
2017-12-13 00:02:57
阅读次数:
215