hadoop namenode -format 格式化分布式文件系统start-all.sh 启动所有Hadoop守护进程stop-all.sh 停止所有Hadoop守护进程start-mapred.sh 启动Map/Reduce守护进程stop-mapred.sh 停止Map/Reduce守护进程 ...
分类：
其他好文 时间：
2016-04-23 19:44:22
阅读次数：
132
1、初识分布式文件系统在生产环境中，后端存储服务器服务器是一个很重要的环节。如果一旦前段服务器需要大量进行IO操作，会对后端存储的文件系统造成很大的压力。一旦后端的存储文件系统down机，那会导致整个生产环境奔溃。因为在生产环境中，后端的存储文件系统会成为一个单点..
分类：
系统相关 时间：
2016-04-23 15:07:42
阅读次数：
363
一、Hive是什么？ Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL。
二...
分类：
其他好文 时间：
2016-04-23 12:01:58
阅读次数：
238
一、背景描述之前公司的图片服务器已经不能胜任了（直接使用tomcat），需要重新搭建图片服务器，这两天研究了下FastDFS，感觉挺好用记录下来以供日后参考。二、FastDFS官方介绍FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系..
分类：
其他好文 时间：
2016-04-23 07:53:17
阅读次数：
780
hdfs基本原理
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式...
分类：
其他好文 时间：
2016-04-22 19:23:02
阅读次数：
363
1 Hadoop是当下大数据处理的事实标准之一，具有广泛的应用场景。作为Hadoop生态基础的HDFS分布式文件系统，它具有极高的容错性，适合部署在廉价的机器上，并能提供高吞吐量的数据访问能力，专为大规模数据存取而设计。 请用Java程序来模拟HDFS的三个应用场景：写文件、读文件、Node节点单点 ...
分类：
编程语言 时间：
2016-04-21 13:41:29
阅读次数：
185
1.Hadoop是什么?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。适合大数据的分布式存储与计算平台，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed Fil ...
分类：
其他好文 时间：
2016-04-19 17:16:03
阅读次数：
157
1. Hadoop 最出名的是 MapReduce和 HDFS，不过也有很多其他有用的子项目。 技术栈如下： Core 一系列分布式文件系统和通用I/O的组件和接口（序列化、Java RPC和持久化数据结构） Avro 一种提供高效、跨语言RPC的数据序列系统，持久化数据存储。 MapReduce ...
分类：
其他好文 时间：
2016-04-19 17:02:12
阅读次数：
134
FastDFS功能简介：FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS特点：FastDFS主要..
分类：
其他好文 时间：
2016-04-19 14:30:02
阅读次数：
577
什么是FastDFS FastDFS是一个叫余庆的哥们用c语言编写的一款开源的分布式文件系统 功能有冗余备份、负载均衡、线性扩容等，高可用、高性能 可以用FastDFS搭建一套高性能的文件服务器集群提供文件上传、下载 fastDFS又区别于Hadoop的HDFS，前者用于上传下载文件或者图片 后者用 ...
分类：
系统相关 时间：
2016-04-19 06:21:53
阅读次数：
246
