destpath='/home/hadoop/soft/hadoop-2.0.0-cdh4.5.0/cdhlib/'jarpath='/home/hadoop/soft/hadoop-2.0.0-cdh4.5.0/share/hadoop/'search='jar'iterdir(){ cd $1 ...
分类：
其他好文 时间：
2014-07-18 16:35:53
阅读次数：
225
声明：个人原创，转载请注明出处。文中引用了一些网上或书里的资料，如有不妥之处请告之。本文是我阅读Hadoop 0.20.2第二遍时写的笔记，在阅读过程中碰到很多问题，最终通过各种途径解决了大部分。Hadoop整个系统设计精良，源码值得学习分布式的同学们阅读，以后会将所有笔记一一贴出，希望能方便大家阅...
分类：
其他好文 时间：
2014-07-18 15:16:43
阅读次数：
431
1. 安装NS3(1)在 ubuntu12.04 中安装 ns3.20,首先要安装一下各种依赖软件:sudo apt-get install gcc g++ pythonsudo apt-get install python-devsudo apt-get install mercurialsudo...
分类：
系统相关 时间：
2014-07-18 14:23:40
阅读次数：
597
第一步:准备JDK最小版本1.5第二部:准备环境所需要的安装介质Eclipse ，ADT和windows平台下的SDK。等待安装JDK和eclipse完成后，在eclipse中选择Help->Install New Software 安装ATD插件。注意ATD的版本太低不能与SDK兼容点击Add根据...
分类：
移动开发 时间：
2014-07-18 10:00:21
阅读次数：
329
NoSQL数据库一改关系型数据库的缺点，更容易的集成、分布式、无模式、故障恢复等特点，正在一步步餐食关系型数据库的市场，作为一个与时俱进的码农了解一下新技术是必须的，尤其是在读了《NoSql精粹》之后，更是想体验一下NoSql数据库的威力。 MongoDB是一种文档数据库，也就是说对于领域模型...
分类：
数据库 时间：
2014-07-18 09:32:19
阅读次数：
287
案例：Hadoop jar引用：hadoop jar -libjars aa.jar bb.jar ….jar包会被上传到hdfs，然后分发到每个datanode假设有20个jar文件，每天jar文件被上传上万次，分发达上万次（百G级），造成很严重的IO开销。如何使这些jar包在HDFS上进行缓存，...
分类：
其他好文 时间：
2014-07-18 00:23:59
阅读次数：
265
LZO压缩，可分块并行处理，解压缩的效率也是可以的。为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正...
分类：
其他好文 时间：
2014-07-17 22:01:19
阅读次数：
876
在本机上装的CentOS 5.5 虚拟机， 软件准备：jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gzssh检查配置Linux代码 [root@localhost~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair...
分类：
其他好文 时间：
2014-07-17 21:39:54
阅读次数：
551
最近几年日志分析这方面的人才需求越来越多，主要伴随数据挖掘的快速发展而迅速增长的。碰巧又在工作中又接触到一些日志记录方面的工作，就顺便了解一下日志系统的整个流程。下面这篇文章转自百度同学的一篇文章，针对大规模日志分析，联系到hadoop,hive的解决方案，阐述的比较全面。
另外就是阿里已经开发出类似的系统odps—通过sql语言进行数据的分析处理，详情见：http://102.alibab...
分类：
其他好文 时间：
2014-07-17 20:15:30
阅读次数：
301
