本章内容提要●理解企业级应用的安全顾虑●理解Hadoop尚未为企业级应用提供的安全机制●考察用于构建企业级安全解决方案的方法 第10章讨论了Hadoop安全性以及Hadoop中用于提供安全控制的机制。当构建企业级安全解决方案(它可能会围绕着与Hadoop数据集交互的许多应用程序和企业级服务)时,.....
分类:
其他好文 时间:
2014-08-11 11:26:22
阅读次数:
368
Hadoop的辉煌还能延续多久?摘要:Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。而另一方面,MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代。Hadoop技术已经无处不在。不管是好是坏,Hadoo...
分类:
其他好文 时间:
2014-08-10 23:56:51
阅读次数:
396
Hadoop+Lucene+NutchHadoop中实现了 Google的GFS和MapReduce算法,使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统,而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。Lucene是一个Java高性能全文...
分类:
其他好文 时间:
2014-08-10 23:51:50
阅读次数:
316
本文是将三台电脑用路由器搭建本地局域网,系统为centos6.5,已经实验验证,搭建成功。一、设置静态IP&修改主机名&关闭防火墙(all-root)(对三台电脑都需要进行操作)0.将三台电脑安装centos6.5系统1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信...
分类:
其他好文 时间:
2014-08-10 15:29:40
阅读次数:
312
Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。...
分类:
数据库 时间:
2014-08-10 01:50:39
阅读次数:
449
Hive是什么1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;4)允许用Java开发自...
分类:
其他好文 时间:
2014-08-09 23:10:49
阅读次数:
288
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,认为它们非常是神奇,而神奇的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,认为Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到...
分类:
其他好文 时间:
2014-08-09 18:40:08
阅读次数:
297
(1)环境说明
hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。
(2)安装hadoop-eclipse-plugin-1.1.2.jar插件
hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。
下载好后,将ha...
安装前准备
1. 虚拟机3个,安装Centos 6.5, 内存设置为4GB
2. 配置yum源为163(不配置,在安装软件时,慢的要死)
3. 关闭防火墙( iptables),disabled SELinux
4. 配置静态IP,并在/etc/hosts中将Hadoop集群中的主机名加进去
安装
1. 在Cloudera官网上下载 cloudera-manager-i...
分类:
其他好文 时间:
2014-08-09 00:12:07
阅读次数:
313
把本地文件上传到hadoop的hdfs-over-ftp...
分类:
其他好文 时间:
2014-08-08 21:22:26
阅读次数:
303