码迷,mamicode.com
首页 >  
搜索关键字:hadoop 环境搭建    ( 22808个结果
LAMP学习路线图
网站开发概述LAMP开发概述HTML基础CSS基础DIV+CSSJavascriptJquery(Ajax)WAMP 环境搭建PHP基本语法,变量,数据类型,表达式,常量,流程控制,函数,数组超全局数组面向对象字符串处理正则表达式文件处理错误处理异常机制日期和时间图像处理MySQL  数据库使用PHP使用mysql扩展库PHP使用mysqli扩展库PDO的使用memchached 安装和使用PHP...
分类:其他好文   时间:2014-05-04 18:29:58    阅读次数:396
Mahout学习
Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget http://archive.ics.uci.edu/ml/databas...
分类:其他好文   时间:2014-05-04 12:34:58    阅读次数:340
MAPR 开发环境搭建过程记录
我下载了MAPR 官方提供的virtualbox 和 vmware版本的sandbox进行试用.开始试用了一会vmware版的,因为不太熟悉vmware的操作,而且vmplayer经常没有反应,后来改用了virtualbox版.因为sandbox是单机版的,所以必须把网络设置设为host only,...
分类:其他好文   时间:2014-05-04 12:31:44    阅读次数:319
Hadoop MRUnit使用(一)
之前在写MR job的时候,由于要在云梯,或者一淘的开发集群上运行;所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行。这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了。必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦;询问了一圈,觉得采用M...
分类:其他好文   时间:2014-05-04 10:54:29    阅读次数:427
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apa...
分类:其他好文   时间:2014-05-04 10:43:51    阅读次数:370
使用hadoop multipleOutputs对输出结果进行不一样的组织
MapReduce job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中,框架自己会自动对输出文件进行命名和组织,如:part-(m|r)-00000之类。但有时为了后续流程的方便,我们常需要对输出结果进行一定的分类和组织。...
分类:其他好文   时间:2014-05-04 10:22:15    阅读次数:341
paip.最好的脚本语言node js 环境搭建连接mysql
paip.最好的脚本语言node js 环境搭建连接mysql     #====下载node...走十一个exe..容易的.. 1 #0----Hello world   .js 2 #---------模块的建立而且使用.. 2 1. ##--调用 (载入文件模块---普通文件模块 3 2. ) 3 3. ##---载入内置模块 3 4. ##----三、载入文件目录模块 ...
分类:数据库   时间:2014-05-04 09:40:33    阅读次数:290
利用JavaAPI访问HDFS的文件
利用JavaAPI访问HDFS的文件 1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.t...
分类:编程语言   时间:2014-05-03 22:10:40    阅读次数:300
高效5步走,快速搭建Hadoop2伪分布环境
前两天将Hadoop2的完全分布式搭建文档整理发布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369),朋友相邀,就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2完全分布式后,就笑对“伪分布式”说声 呵呵吧。        前期的jdk环境、SSH免密钥登录配置在此就不再赘述了,直接进入hadoop2的配...
分类:其他好文   时间:2014-05-03 21:51:45    阅读次数:344
hadoop无法启动
dataNode 无法启动是配置过程中最常见的问题,主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类:其他好文   时间:2014-05-03 21:37:44    阅读次数:308
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!