码迷,mamicode.com
首页 >  
搜索关键字:mahout lda hadoop cv    ( 16332个结果
hadoop作业调优参数整理及原理
1 Map side tuning参数1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map.....
分类:其他好文   时间:2014-05-20 01:54:58    阅读次数:341
C#-Emgu.CV-------视频截取和图像处理基础
转:http://blog.sciencenet.cn/blog-538909-694431.htmlmage frame = capture.QueryFrame();//获取摄像头的视频帧Image frame2 = frame.Convert(); //将帧转换为RGB类型,对应为三维数组Im...
分类:其他好文   时间:2014-05-20 00:56:07    阅读次数:1059
hadoop中日志聚集问题
遇到的问题:当点击上面的logs时,会出现下面问题:这个解决方案为:By default, Hadoop stores the logs of each container in the node where that container was hosted. While this is irre...
分类:其他好文   时间:2014-05-19 10:33:13    阅读次数:369
【调查】云计算,你关注的技术热点在哪里?
UCloud云服务以大家所称道的高性能和高稳定性,走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的?如何使得SATA跑过SSD?持久化分布式内存存储机制是怎样的?如何实现云计算模式下的Hadoop多租户隔离?分布式虚拟交换机又.....
分类:其他好文   时间:2014-05-19 08:28:47    阅读次数:338
深入Hadoop的调度器
Hadoop有两个大版本0.20.x,1.x通常为hadoop 1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop 2版本,在开发模型上类似1,都...
分类:其他好文   时间:2014-05-18 19:24:17    阅读次数:291
Install RHadoop with Hadoop 2.2 – Red Hat Linux
PrerequisiteHadoop 2.2 has been installed (and the below installation steps should be applied on each of Hadoop node)Step 1. Install R (by yum)[hadoop...
分类:系统相关   时间:2014-05-17 21:51:24    阅读次数:671
SNN--Second Name Node
NameNode有这么几个配置:PropertyDescriptionSuggested valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s metadata/home/hadoop/dfs/namedf...
分类:其他好文   时间:2014-05-17 18:56:09    阅读次数:367
HDFS基础和java api操作
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:编程语言   时间:2014-05-17 18:38:16    阅读次数:364
Hive安装与配置
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程。1、下载安装包到官方网站下载最新的安装包,这里以Hive-0.12.0为例:$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里,HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类:其他好文   时间:2014-05-16 02:36:44    阅读次数:369
【甘道夫】MapReduce实现矩阵乘法--实现代码
MapReduce实现矩阵乘法--实现代码...
分类:其他好文   时间:2014-05-15 23:57:37    阅读次数:390
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!