什么是大数据？用于①数据的存储：分布式文件系统（分布式存储）②数据的计算：分布式计算。简单一点就是存储和计算的问题，解决日常海量数据的分析。学习大数据需要什么基础呢？Java基础（Javase）:类、类、继承、I/O、反射、泛型等；Linux基础（Linux的操作）:创建文件、目录、vi编辑器的使用；Java和大数据都有哪些关系呢？基于Java语言开发→→→Hadoop体系结构、原理、编程第一阶段
分类：
其他好文 时间：
2018-09-01 17:31:34
阅读次数：
160
一、大数据大数据：解决海量数据问题的技术。大数据由巨型数据集组成，把数据集合并进行分析可得出许多额外的信息和数据关系性。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力，适用于大数据的技术，包括大数据技术包括大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储
分类：
其他好文 时间：
2018-08-30 22:45:51
阅读次数：
278
### HDFS分布式文件系统
1. 分布式存储
2. 分布式计算 ### 2、hadoop
hadoop含有四个模块，分别是 common、 hdfs和yarn。
1. common 公共模块。 2. HDFS hadoop distributed file system，hadoop分布式文件系... ...
分类：
其他好文 时间：
2018-08-27 21:29:28
阅读次数：
257
FastDfs 分布式文件系统 充分考虑负载均衡,冗余备份,线性扩容,并注重高可用 FastDFS 架构包括 Tracker server 和 Storage server 客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage ...
分类：
其他好文 时间：
2018-08-25 23:01:47
阅读次数：
167
1.1 分布式文件系统 1.1.1 什么是分布式文件系统 相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system, DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多 ...
分类：
其他好文 时间：
2018-08-25 20:03:24
阅读次数：
269
原文地址：https://dblab.xmu.edu.cn/blog/290-2/ Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。 在学习HDF ...
分类：
其他好文 时间：
2018-08-24 22:57:21
阅读次数：
742
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。 2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapRedu ...
分类：
其他好文 时间：
2018-08-12 14:16:13
阅读次数：
126
上一篇介绍了磁盘结构和分区结构，这一篇来介绍管理分区和管理文件系统 管理分区 1. 创建分区 （1）fdisk：创建MBR分区 fdisk创建分区时是交互式的，因此写入脚本时需要 来实现非交互式创建分区 （2）gdisk： 创建GPT分区 gdisk创建分区与fdisk很相似 （3）parted：高 ...
分类：
系统相关 时间：
2018-08-11 17:16:38
阅读次数：
212
proxmox是一款开源的虚拟化管理平台，在服务器虚拟化方面有不俗的表现。曾经有个单cpu4线程、16G内存、300G内存开20多个centos，并且上面的应用都是tomcat的交易系统，稳定运行大半年的记录（公司倒闭，服务器被下架）。后来，陆续迁移一些陈旧物理服务器上的应用到proxmox虚拟化平台，也是受益多多。从proxmox5.版本开始，整合了分布式文件系统ceph，并对其进行了改进。官方
分类：
其他好文 时间：
2018-08-10 13:13:25
阅读次数：
604
