码迷,mamicode.com
首页 >  
搜索关键字:hadoop 环境搭建    ( 22808个结果
windows下hadoop的单机伪分布式部署(1)
hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop,一般有两种方式:一种是VM的方式linux操作系统,这样可以实现全linux环境的hadoop运行;另一种方式安装cygwin模拟linux环境,该方法相对比较简单方便。本文采取cywin的方式。下面将...
分类:Windows程序   时间:2014-08-14 23:10:56    阅读次数:343
[hadoop]Cannot create directory /mdrill/tablelist/fact_seller_all_d. Name node is in safe mode.
在执行mdrill创建表的时候报如下异常(蓝色部分为关键):[mdrill@hadoop1101 bin]$ ./bluewhale mdrill create ./create.sql higo execute [create, ./create.sql]Exception in thread "...
分类:其他好文   时间:2014-08-14 23:05:46    阅读次数:246
Android学习总结之WIN上搭建环境
引言 本系列适合0基础的人员,因为我就是从0开始的,此系列记录我步入Android开发的一些经验分享,望与君共勉!作为Android队伍中的一个新人的我,如果有什么不对的地方,还望不吝赐教。 在开始Android开发之旅启动之前,首先要搭建环境,然后创建一个简单的HelloWorld。本文的主题如下: 1、环境搭建 1.1、JDK安装 1.2、Eclipse安装 1....
分类:移动开发   时间:2014-08-14 20:50:29    阅读次数:279
[hadoop]Windows下eclipse导入hadoop源码,编译WordCount
hadoop版本为hadoop1.2.1eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.ja...
分类:Windows程序   时间:2014-08-14 20:28:59    阅读次数:704
Hadoop的HDFS和Map/Reduce
HDFS HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点: 1)适合存储非常大的文件 2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式 3)适合部署在廉价的机器上 但HDFS不适合以下场景(任何东西都要分两面看,只有适合自己业务的技术才是真正的好技术): 1)不适合存储大量的小文件,因为受Namenode内...
分类:其他好文   时间:2014-08-14 16:46:28    阅读次数:260
HDFS Architecture--官方文档
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类:其他好文   时间:2014-08-14 16:23:38    阅读次数:275
Hive 分区、桶、Sort Merge Bucket Join
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/Hive 最为核心的部分之一,是每个 Hadoop/Hiv...
分类:其他好文   时间:2014-08-14 16:22:48    阅读次数:244
Hibernate环境搭建+struts整合
说明:本文档,是和struts2+hibernate的整合示例。lib下还有struts2的jar包,本示例没有显示。struts2的搭建参考struts2的环境搭建一下载hibernate的jar包,并将相关jar包导入的项目web-inf的lib下二:配置hibernate.cfg.xml文档 ...
分类:系统相关   时间:2014-08-14 16:10:18    阅读次数:302
Hadoop的Reduce Join+BloomFilter实现表链接
适用于场景连接的列数据量很大,在分布式缓存中无法存储时,Bloom Filter 可解决这个问题,用很小的内存可有MAP端过滤掉不需要JOIN的数据,这样传到REDUCE的数据量减少,减少了网络传及磁盘IO。缺点Bloom Filter 会有一定的错误率,但是错误率很低,用空间换取了时间。并且,最终...
分类:其他好文   时间:2014-08-14 16:05:39    阅读次数:284
android 开发环境搭建
一、Android搭建开发环境(一)、工具准备1.下载JDKJDK即Java Development Kit(Java开发工具包),包括JAVA运行环境,基础类库和JAVA工具,是JAVA运行的基础。网址:http://www.oracle.com/technetwork/java/javase/d...
分类:移动开发   时间:2014-08-14 16:05:08    阅读次数:331
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!