原文链接 云计算最初是实现资源管理的灵活性 云计算不光管资源,也要管应用 大数据拥抱云计算 数据的收集 数据的传输:基于硬盘的分布式队列 数据的存储:分布式文件系统 数据的分析:分布式计算的方法 人工智能拥抱大数据 推理、 知识教授、 基于统计的知识自学(事物间的关联)、 模拟大脑的工作方式(数学单 ...
分类:
其他好文 时间:
2019-02-25 16:45:26
阅读次数:
214
HDFS的探究: HDFS HDFS是 Hadoop Distribute File System的缩写,是谷歌GFS分布式文件系统的开源实现,Apache Hadoop的一个子项目,HDFS基于流数据访问模式的分布式文件系统,支持海量数据的存储,允许用户将百千台组成存储集群,HDFS运行在低成本的 ...
分类:
其他好文 时间:
2019-02-22 12:25:54
阅读次数:
258
一 Ceph文件系统 1.1 概述 CephFS也称ceph文件系统,是一个POSIX兼容的分布式文件系统。 实现ceph文件系统的要求: 需要一个已经正常运行的ceph集群; 至少包含一个ceph元数据服务器(MDS)。 需要一个已经正常运行的ceph集群; 至少包含一个ceph元数据服务器(MD ...
分类:
其他好文 时间:
2019-02-19 13:21:32
阅读次数:
204
一、简介 FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成 fastfds有两个角色:跟踪服务和存储服务 跟踪服务控制:主要做调度工作,在访问上起负载均衡的作用。 存储服务包括 ...
分类:
其他好文 时间:
2019-02-18 14:17:09
阅读次数:
174
本文进行了以下工作: 预备知识 和各种大型关系型数据库(如sql server和oracle等)一样,Hadoop有自己的文件系统,在操作系统中只能看到文件,用文件工具强制打开以后是无法理解的乱码,只能通过Hadoop系统去管理和读取。 所以OS的文件系统和hadoop的文件系统是相互独立的,要用h ...
分类:
其他好文 时间:
2019-02-18 10:16:45
阅读次数:
240
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。 1 、分布式文件系统 多台计算机 ...
分类:
其他好文 时间:
2019-02-13 12:33:33
阅读次数:
196
2019年1月,伴随 APACHE FLINK 的母公司 Data Artisans 被收购,FLINK 毫无疑义成为继 SPARK 之后的新一代大数据计算平台,本文希望通过 GOOGLE 计算平台演进来更好的理解 FLINK。
分类:
Web程序 时间:
2019-02-13 10:48:21
阅读次数:
304
转自:https://www.cnblogs.com/caiyisen/p/7395843.html 学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Fil ...
分类:
其他好文 时间:
2019-02-05 13:13:27
阅读次数:
204
商务智能。商务智能工程师是商业智能行业的工程师。从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。
ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为数据库工程师。
分类:
其他好文 时间:
2019-01-30 10:13:55
阅读次数:
179
1.单机(非分布式)模式 这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类:
其他好文 时间:
2019-01-27 13:00:41
阅读次数:
191