HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类：
其他好文 时间：
2014-08-14 16:23:38
阅读次数：
275
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hiv...
分类：
其他好文 时间：
2014-08-14 16:22:48
阅读次数：
244
适用于场景连接的列数据量很大，在分布式缓存中无法存储时，Bloom Filter 可解决这个问题，用很小的内存可有MAP端过滤掉不需要JOIN的数据，这样传到REDUCE的数据量减少，减少了网络传及磁盘IO。缺点Bloom Filter 会有一定的错误率，但是错误率很低，用空间换取了时间。并且，最终...
分类：
其他好文 时间：
2014-08-14 16:05:39
阅读次数：
284
安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中...
分类：
其他好文 时间：
2014-08-14 13:50:18
阅读次数：
879
核心函数：cvCanny程序：代码:#include"cv.h"
#include"cxcore.h"
#include"highgui.h"
#include<iostream>
intcanny(intargc,char**argv)
{
IplImage*src1=cvLoadImage("e:\\picture\\7.jpg",0);//源图像和目的图像都必须为灰度图像
IplImage*src2=cvLoadImage("e:\\pic..
分类：
其他好文 时间：
2014-08-14 11:02:08
阅读次数：
366
hadoop2.5发布：最新编译 32位、64位安装、源码包、API以及新特性http://www.aboutyun.com/thread-8751-1-1.html(出处: about云开发)问题导读：1.如何获取Hadoop安装包?2.编译Hadoop过程中，需要注意哪些问题?3.如何寻找API...
Mahout基于推荐系统，分类，聚类算法等经常用到的相似度度量：PearsonCorrelationSimilarity皮尔森距离EuclideanDistanceSimilarity欧几里德距离CosineMeasureSimilarity余弦距离（0.7变成了UncenteredCosineSimilarity）SpearmanCorrelationSimilarity斯皮尔曼等级相关，排序..
分类：
其他好文 时间：
2014-08-13 19:22:58
阅读次数：
227
Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。
主要特性和改进：
1. Common
a) 使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。
b) 增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。
c)...
分类：
其他好文 时间：
2014-08-13 19:00:17
阅读次数：
278
Hadoop 2.2.0 集群配置攻略
用户输入标识： chmod
+x jdk-7u45-linux-x64.rpm 为黑色带底纹
系统输出标识： java version "1.7.0_51"
为绿色小字
2014年3月20-日 by lilihao Q 404536204
1. 安装sun jdk
(1). 到Oracle的官方网站...
分类：
系统相关 时间：
2014-08-13 18:55:57
阅读次数：
543
