Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本,在开发模型上类似1,都...
分类:
其他好文 时间:
2014-05-18 19:24:17
阅读次数:
291
前言 OpenCV
提供了许多封装好了的类型,而其中,以三大类型最为核心。本文将大致介绍这三大类型。CvArr:不确定数组
它可以被视为一个抽象基类,后面的两大类型都继承此类型并扩展。只要某个函数的形参是这个类型,那么我们就可以把后面两种类型作为实参传递进去做处理。CvMat:多通道矩阵
它用...
分类:
其他好文 时间:
2014-05-18 19:02:49
阅读次数:
221
淘宝他会知道你最近想买什么,在你搜索前,Google会知道你想搜索什么。所有这些公司都在使用预测分析法来向你推销点什么-------无论是淘宝的广告,还是Google侧边的广告。如果企业中的销售人员也拥有这种能力,那岂不是如虎添翼?
预测性CRM,构建于大数据之上 传统CRM专注于企业内部现有...
分类:
其他好文 时间:
2014-05-18 18:55:47
阅读次数:
273
前言 本文将介绍 OpenCV 中的矩阵结构 CvMat
并提供一些很实用的技巧。CvMat的类型定义 1 typedef struct CvMat 2 { 3 int type; // 数据类型 4 int
step; // 行长度 5 int* refcou...
分类:
其他好文 时间:
2014-05-18 18:54:07
阅读次数:
1771
在不觉中学习软件开发已经一年多啦,回想这一年多的学习生涯,总觉得自己缺点什么,从刚开始的c语言基础,到c#入门,sqlserver的学习,ado.net
一些web的基础html,css javascripte jquery ajax 找到asp.net学的还算有顺序,指导我们开学历课c++我才意识...
分类:
其他好文 时间:
2014-05-18 18:51:44
阅读次数:
260
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:
其他好文 时间:
2014-05-18 15:12:21
阅读次数:
380
NameNode有这么几个配置:PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类:
其他好文 时间:
2014-05-17 18:56:09
阅读次数:
367
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中,通过linux
shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:
编程语言 时间:
2014-05-17 18:38:16
阅读次数:
364
有时候数据库在占用时,想做一些操作,无法操作。可以尝试将数据库切换为单用户模式来操作。操作完之后再切换回多用户模式。命令如下:alter database
数据库名 set Single_user --单用户alter database 数据库名 set multi_user --多用户或者sp_....
分类:
数据库 时间:
2014-05-17 18:27:33
阅读次数:
645