码迷,mamicode.com
首页 >  
搜索关键字:hadoop 环境搭建    ( 22808个结果
hadoop rpc principle
一.RPC协议在分析协议之前,我觉得我们很有必要先搞清楚协议是什么。下面我就谈一点自己的认识吧。如果你学过java的网络编程,你一定知道:当客户端发送一个字节给服务端时,服务端必须也要有一个读字节的方法在阻塞等待;反之亦然。 这种我把它称为底层的通信协议。可是对于一个大型的网络通信系统来说,很显然这...
分类:其他好文   时间:2014-08-30 17:34:59    阅读次数:295
MapReduce中ArrayWritable 使用方法
在编写MapReduce程序时,Map和Reduce之间传递的数据需要是ArrayList类型的,在调试运行时遇到了这样的一个错误:java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.Ar...
分类:其他好文   时间:2014-08-30 16:25:09    阅读次数:341
hadoop出现ava.lang.ClassNotFoundException: org.codehaus.jackson.map.JsonMappingException
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException at org.apache.hadoop.mapreduce.Job$1.r...
分类:移动开发   时间:2014-08-30 12:32:09    阅读次数:199
用hadoop计算PI值
一、计算PI值的方式与原理 ? ? ? 百度一下,计算PI的方法还真不少。但在hadoop examples代码中的注释写的是:是采用 Quasi-Monte Carlo 算法来估算PI的值。? ? ? ? 维基百科中对Quasi-Monte Carlo的描述比...
分类:其他好文   时间:2014-08-30 11:24:49    阅读次数:394
hadoop报错,随记
1、执行一个简单的job任务时,map完成100%,reduce一直0.00%,看log日志,一直重复copy,看不出什么。最后等很长时间,报错如下:最后,从网上找到解决方法:就是/etc/sysconfig/network中定义的HOSTNAME=cm134和/etc/hosts指定的不一样,或者是在命令行下#hostname获取的主机名..
分类:其他好文   时间:2014-08-30 11:21:29    阅读次数:239
Does not contain a valid host:port authority: Master:8031 (configuration property 'yarn.resourcemanager.resource-tracker.address')
问题解决:这个错误是:yarn里面的配置的格式有错误:如:yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A....
分类:其他好文   时间:2014-08-30 11:06:39    阅读次数:927
Mac上RoR环境搭建问题
昨天一晚上折磨的我啊都快疯掉了。按照http://railstutorial-china.org方法配制,到rvm requirements这个命令执行时就麻烦事来了。WutekiMacBook-Pro:~ wuxj$ rvm requirementsChecking requirements fo...
分类:其他好文   时间:2014-08-30 09:54:39    阅读次数:251
QTCreator2.8.0+Qt Open source 4.8.5环境配置(Win7x64)
开始使用QT了,环境配置好了,以后才不会有这方面的麻烦,所以第一步,把自己的工作环境搭建好! 下面是我的环境搭建过程,留个记录,也为了后来者能少走一些弯路。 1. 下载安装文件 要使用QT功能,那么必须要下载QT的源码,还必须要一个是用QT的编译环境,可以是VS2010,也可以是专用于QT编程的QT Creator。本人选择QT Creator,所以也必须要下载QT Creator。 根据...
分类:Windows程序   时间:2014-08-30 01:16:48    阅读次数:469
phonegap使用教程
2014年8月29日 请认准日期进行查看1。首先要知道你自己的机器是什么系统的然后首先进行相应的环境搭建;本问以window 64位机器为案例在安装PhoneGap开发环境之前,需要先安装以下框架:1.Java SDK作者使用的版本是20+版本安装这个软件 然后一直下一步 你懂的安装完成之后然后我们...
分类:其他好文   时间:2014-08-29 23:49:58    阅读次数:248
DEPRECATED: Use of this script to execute hdfs command is deprecated.
DEPRECATED: Use of this script to execute hdfs command is deprecated.本人安装的hadoop版本是2.4.0的,但每次执行命令时都会显示下面的信息hadoop@VM_160_34_centos:/usr/local/hadoop-2...
分类:其他好文   时间:2014-08-29 22:35:28    阅读次数:265
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!