问题导读： 1.什么是分布式文件系统？ 2.怎样分离元数据和数据？ 3.HDFS的原理是什么？ Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用 ...
分类：
其他好文 时间：
2016-04-18 13:23:45
阅读次数：
124
一、本文说明：本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署，配置非常类似于伪分布式，名称节点和数据节点都分布在不同的主机上，每台数据节点上都有相应的任务调度。二、环境说明：虚拟软件：VM10.0操作系统：CentOs6.7hadoop版..
分类：
其他好文 时间：
2016-04-14 22:44:22
阅读次数：
262
一、本文说明：
本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使
用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机..
分类：
其他好文 时间：
2016-04-13 21:01:18
阅读次数：
452
随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha ...
分类：
其他好文 时间：
2016-04-12 07:09:16
阅读次数：
598
1. 通过VMware Workstation安装一台Ubuntu操作系统的虚拟机（Master.Hadoop） 2. 配置虚拟机IP地址和Hostname 2.1 配置IP： root@Master:~# cat /etc/network/interfaces # This file descri ...
分类：
其他好文 时间：
2016-04-08 14:59:26
阅读次数：
244
一、 HDFS简介 1、 HDFS全称 Hadoop Distributed FileSystem，Hadoop分布式文件系统。 Hadoop有一个抽象文件系统的概念，Hadoop提供了一个抽象类org.apache.hadoop.fs.FilesSystem，HDFS是这个抽象类的一个实现。其他还 ...
分类：
其他好文 时间：
2016-04-07 07:08:44
阅读次数：
242
分布式文件系统HDFS的工作原理 Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 ...
分类：
其他好文 时间：
2016-04-05 17:40:01
阅读次数：
132
参考：从源代码剖析Mahout推荐引擎
前言：Mahout框架集成了大量的常用的机器学习算法，且都支持在Hadoop分布式环境下运行，很大程度上节约了数据处理的时间成本，其中的推荐算法引擎有cf.taste包实现，它提供了一套完整的推荐算法工具库，同时规范了数据结构，并标准了程序开发过程。
1：Mahout推荐算法介绍
2：单机内存算法实现
3：基于hadoop分布式...
分类：
编程语言 时间：
2016-04-01 18:43:15
阅读次数：
992
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编 ...
分类：
其他好文 时间：
2016-03-31 14:42:07
阅读次数：
135
Storm 大数据 视频教程 安装 Spark Kafka Hadoop 分布式实时计算 Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP
分类：
其他好文 时间：
2016-02-28 18:24:53
阅读次数：
419
