2014-08-12HDFS存储过慢，内存过高而且不释放网络方面：使用 netstat-n |awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况：情况如下： CLOSE_WAIT 102 FIN_WAIT2 2 ESTABLIS...
分类：
其他好文 时间：
2014-08-12 13:07:14
阅读次数：
601
目标：配置一个hadoop1.2.1测试环境用的JDK是:jdk-7u65-linux-x64.gz选的hadoop是：hadoop-1.2.1.tar.gz均来源Apache和oracle网站主机规划：Linux版本：Centos6.5x64位/boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。/usr：用来存放Linu..
分类：
系统相关 时间：
2014-08-12 10:30:54
阅读次数：
436
采用ftp或在线wget方式获取jdk安装包，放置于新创建的/usr/java目录中,解压安装[hadoop@masterjava]$sudotar-zxvfjdk-7u65-linux-x64.gz配置/etc/profile里的Java参数#JAVAenvironment
exportJAVA_HOME=/usr/java/jdk1.7.0_65
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JA..
分类：
编程语言 时间：
2014-08-12 10:30:14
阅读次数：
278
在/usr目录下建立hadoop文件夹,赋予hadoop用户权限(master)[hadoop@masterusr]$sudomkdirhadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr-x.2rootroot4096Jul3100:17hadoop
[hadoop@masterusr]$sudochown-Rhadoop:hadoophadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr..
分类：
其他好文 时间：
2014-08-12 10:29:54
阅读次数：
245
格式化节点，只需一次[hadoop@masterconf]$hadoopnamenode-format
Warning:$HADOOP_HOMEisdeprecated.
14/07/3101:41:39INFOnamenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG:StartingNameNode
STARTUP_MSG:host=m..
分类：
其他好文 时间：
2014-08-12 10:29:45
阅读次数：
285
尽管我们在虚拟机client上能非常快通过shell命令，进行运行一些已经封装好实例程序，可是在应用中还是是自己敲代码，然后部署到server中去，以下，我通过程序进行浅谈一个程序的部署过程。在启动Hadoop之后，然后把程序达成可运行的jar包，并把对应的第三方jar包 包括进去。运行hadoop...
分类：
其他好文 时间：
2014-08-12 00:19:43
阅读次数：
224
package hsfs常用api;import java.io.ByteArrayInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;i...
13年初整理的一个关于MapReduce的简单介绍和总结，希望对大家有所帮助，同学欢迎交流JVM、Spark、Hadoop等技术。...
分类：
其他好文 时间：
2014-08-11 21:29:42
阅读次数：
251
Phoenix(sql on hbase)简介
介绍：
Phoenix is a SQL skin over HBase delivered as a client-embedded JDBC driver targeting low latency queries over HBase data. Phoenix takes your SQL query, compile...
分类：
数据库 时间：
2014-08-11 21:28:33
阅读次数：
589
hadoop的计算模型就是map/reduce，每一个计算任务会被分割成很多互不依赖的map/reduce计算单元，将所有的计算单元执行完毕后整个计算任务就完成了。因为计算单元之间互不依赖所以计算单元可以分配到不同的计算机上执行，这样就可以将计算压力平摊到多个机器上面。当然性能线性提高是有条件的，....
分类：
其他好文 时间：
2014-08-11 14:38:52
阅读次数：
189
