HDFS小文件问题及解决方案:http://dongxicheng.org/mapreduce/hdfs-small-files-solution/Hadoop升级方案(一):Hadoop
1.0内部版本升级(初稿):http://dongxicheng.org/mapreduce-nextgen/...
分类:
其他好文 时间:
2014-05-10 02:08:24
阅读次数:
327
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello
World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。现在我们以"hadoop...
分类:
其他好文 时间:
2014-05-10 01:54:48
阅读次数:
445
1,安装arm-linux-gcc安装方法,将安装包解压到/opt下,然后vim
/.bashrc修改一行:export PATH =
$PATH:/opt/FriendlyARM/tooschain/4.5.1/bin,后面是安装的路径,重新登录系统,注销即可,然后arm-linux-+Tab键就...
分类:
系统相关 时间:
2014-05-10 01:33:20
阅读次数:
512
先百度搜索"jdk下载" 安装完成之后,到系统环境变量设置(电脑右键,属性,高级系统设置)
然后点击下面path系统变量,把C:\Program Files
(x86)\Java\jdk1.6.0_05\bin;(bin的路劲复制到path最前面粘贴,别忘了加分号) 接着到...
分类:
编程语言 时间:
2014-05-10 01:15:13
阅读次数:
330
1.extension=php_mysql.dll,先加入mysql扩展。2.php.ini中extension_dir必须是绝对路径。3.php文件夹下的libmysql.dll文件复制到C:\Windows\System32文件夹下。4.php.ini复制到C:\Windows文件夹下。
分类:
数据库 时间:
2014-05-09 16:44:06
阅读次数:
436
Hadoop
MapReduce开发最佳实践(上篇)本文是Hadoop最佳实践系列第二篇,上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中hello
word程序)不仅要熟悉MapRuduce模型,还要了...
分类:
其他好文 时间:
2014-05-08 21:45:46
阅读次数:
640
1.核心 HDFS 分布式文件系统 主从结构,一个namenoe和多个datanode,
分别对应独立的物理机器
1)NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责...
分类:
其他好文 时间:
2014-05-05 10:35:14
阅读次数:
432
转自:http://blog.csdn.net/bluesky8640/article/details/6945776之前装python、jdk、hadoop都是用的root账户,这是一个绝对的失策,linux对用户访问权限很严格,新创的hod账户根本无法启动hadoop,而root在hod模式下使...
分类:
系统相关 时间:
2014-05-05 10:09:20
阅读次数:
753
常见错误列表一、编译arm环境的时候:./configure -prefix
$HOME/Qtenv/arm -embedded arm-nomake docs -nomake demo -nomake
examples1、configure完成之后,make出现问题:/usr/bin/ld: ca...
分类:
其他好文 时间:
2014-05-05 09:32:27
阅读次数:
1967
在VS 2008 中,导入 lua.h 之类的头文件后,编译含有Lua函数的时候,可能会出现如下错误:
1>main.obj : error LNK2019: 无法解析的外部符号_luaL_checkinteger,该符号在函数"int __cdecl add(struct lua_State *)" (?add@@YAHPAUlua_State@@@Z) 中被引用
1>main.ob...
分类:
其他好文 时间:
2014-05-04 18:34:20
阅读次数:
376