Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
NFS存储 NFS即网络文件系统Network File System，它是一种分布式文件系统协议，最初是由Sun MicroSystems公司开发的类Unix操作系统之上的一款经典网络存储方案，其功能是在允许客户端主机可以像访问本地存储一样通过网络访问服务端文件。 Kubernetes的NFS存储 ...
分类：
Web程序 时间：
2020-07-05 10:42:17
阅读次数：
65
1、yum进行软件安装，软件安装过程中如遇到询问，一律选择y，ntp是时间同步命令：yum -y install ntp 2、执行同步命令：ntpdate time1.aliyun.com 3、查看当前系统时间： date 时间同步操作在分布式程序中拥有特殊的意义，它有效的避免了在分布式文件系统中， ...
分类：
系统相关 时间：
2020-07-04 13:14:15
阅读次数：
111
Hadoop的广义与狭义之分 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS:分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架 广义的Hadoop:广义的Hadoop不仅仅包含Hadoop框架，除了Hadoop框架之外的一些 ...
分类：
其他好文 时间：
2020-06-30 22:14:42
阅读次数：
67
Hadoop的核心由3个部分组成： HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。 YARN: Yet Another Resource Negotiator，资 ...
分类：
其他好文 时间：
2020-06-27 18:39:42
阅读次数：
68
nosql是泛指对关系型数据库的补充，主要代表是redis，memcache，Hbase，MongoDB 一个电商平台主要包括 1.基本信息 用MySQL储存 2.附加信息 用MongoDB储存 3.图片信息 用分布式文件系统储存 4.关键词 Es，Lucene，solr 5.热点信息（特点 高频， ...
分类：
数据库 时间：
2020-06-27 15:52:03
阅读次数：
68
前段时间得知龙芯团队成功移植并开源了 CoreCLR ，忙完事情后，快乐地捣鼓一下这个东西。近年来国产操作系统、芯片等的到很大的关注和快速发展，我们开发的软件适配国产的机器环境就尤为重要，未来 IT 行业的变化会影响到我们的饭碗。 .NET .NET是一个免费的、跨平台的开源开发人员平台，可以构建多 ...
分类：
Web程序 时间：
2020-06-27 00:04:52
阅读次数：
103
HDFS分布式文件系统 一、课前准备 1. 安装VMware 15虚拟化软件 2. 安装Centos 7虚拟机3个 3. 安装3节点的hadoop2.X集群 4. 某台虚拟机节点安装IDEA 二、课堂主题 本堂课主要围绕HDFS进行讲解，主要包括三方面 1. 架构原理 2. 核心概念 3. HDFS ...
分类：
其他好文 时间：
2020-06-23 00:55:02
阅读次数：
109
一、先配置好自己的分布式文件系统，参考另一篇文章： https://www.cnblogs.com/vevian/p/13170228.html 二、安装第三方库py3Fdfs pip install py3Fdfs 三、实际应用，参考文档 https://pypi.org/project/py3F ...
分类：
编程语言 时间：
2020-06-21 11:56:32
阅读次数：
108
1、HDFS（Hadoop Distributed File System）是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。它的核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息 ...
分类：
其他好文 时间：
2020-06-18 14:33:17
阅读次数：
67
