************************************************************************************************** ◆案例◆ RHCS搭建高可用分布式文件系统 【注意:RHCS只在RHEL 6 中存在 RHEL 7已经 ...
分类：
其他好文 时间：
2018-05-20 13:02:21
阅读次数：
251
************************************************************************************************** ◆案例◆ 部署MooseFS分布式文件系统****************************** ...
分类：
其他好文 时间：
2018-05-20 11:45:52
阅读次数：
260
一：来源 雅虎 >谷歌两篇论文GFS，mapreduce。 二：组成 hadoop common：支持其他Hadoop模块的常用工具。 HDFS：分布式文件系统，提供对应用程序数据的高吞吐量访问。全称：Hadoop Distributed File System。 hadoop yarn：作业调度和 ...
分类：
其他好文 时间：
2018-05-19 20:35:30
阅读次数：
243
一、Hadoop框架 1.HDFS（分布式文件系统） 2.MapReduce（分布式计算框架） 3.YARN（集群资源管理器） 4.Zookeeper（分布式协作服务） 5.Ambari（管理工具） 二、Spark（内存计算框架） 1.Scala 2.Spark SQL 3.Spark Stream ...
分类：
其他好文 时间：
2018-05-18 11:28:00
阅读次数：
137
（1）nfs简介 作用：通过网络的不同的主机之间共享资源，支持多节点挂载并发写入 特点：单台，适合小型网络集群架构，非常稳定；大型公司使用（mfs，glusterfs，fastdfs） nfs优点：部署和维护简单;数据是在文件系统之上，是能看见真实的数据，大型分布式文件系统都是看不到数据的;可靠稳定 ...
分类：
其他好文 时间：
2018-05-15 21:12:06
阅读次数：
175
hadoop是一堆开源软件的集合，下面把这些开源软件做个简单介绍ApacheHadoop:是Apache开源组织的一个分布式计算开源框架，是提供了一个分布式文件系统(HDFS)和支持MapReduce分布式计算的软件架构。ApacheHive:是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapR
分类：
其他好文 时间：
2018-05-14 15:42:46
阅读次数：
165
存储层(Hadoop分布式文件系统) HDFS一、分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。 分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文 ...
分类：
其他好文 时间：
2018-05-13 18:01:59
阅读次数：
186
主要摘自 http://dblab.xmu.edu.cn/blog/290 2/ 简介 本指南介绍Hadoop分布式文件系统HDFS，并详细指引读者对HDFS文件系统的操作实践。Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件 ...
分类：
编程语言 时间：
2018-05-10 23:25:40
阅读次数：
312
0.案例概述 本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用Spark Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现，案例的整体框架图如下： ![此处输入图片的描述][1] 下面分析详细分析下上述步骤： ...
分类：
其他好文 时间：
2018-05-10 23:23:20
阅读次数：
315
prometheus它是一个主动拉取的数据库，在K8S中应该展示图形的grafana数据实例化要保存下来，使用分布式文件系统加动态PV，但是在本测试环境中使用本地磁盘，安装采集数据的agent使用DaemonSet来部署，DaemonSet的特性就是在每个node上部署一个服务进程，这一切都是自动的 ...
分类：
Web程序 时间：
2018-05-10 17:25:35
阅读次数：
574
