码迷,mamicode.com
首页 >  
搜索关键字:hadoop wordcount 案例    ( 33675个结果
深入Hadoop的调度器
Hadoop有两个大版本0.20.x,1.x通常为hadoop 1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop 2版本,在开发模型上类似1,都...
分类:其他好文   时间:2014-05-18 19:24:17    阅读次数:291
hadoop学习;Streaming,aggregate;combiner
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT 通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出) 通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:其他好文   时间:2014-05-18 15:12:21    阅读次数:380
90后女生微信销售案例:预热和成熟
笔者有一位90后朋友Niko,她在短短半年内就利用微信平台为自己聚集了一群老顾客,从刚开始寥寥无几的粉丝,到现在每天都可以出单,靠的是她一直的坚持,笔者曾经向她进行咨询,是什么让她可以成功地搭建一个微信销售平台呢?按照她的回答,微信销售其实是需要有预热期以及成熟期的。   一、从微信运营到微信销售   Niko其实就是笔者以前的同事,当时她从网站编辑的岗位上被分配另外一个任务 —— 运营微信,...
分类:微信   时间:2014-05-18 07:00:25    阅读次数:446
【剑指offer】顺时针打印矩阵
剑指offer上的第20题,九度OJ上测试通过。 题目描述: 输入一个矩阵,按照从外向里以顺时针的顺序依次打印出每一个数字,例如,如果输入如下矩阵: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10. 输入: 输入可能包含多个测试样例,对于每个测试案例, 输入的第一行包括两个整数m和n(1<=m,n<=1000):表示矩阵的维数为m行n列。 接下来的m行,每行包括n个整数,表示矩阵的元素...
分类:其他好文   时间:2014-05-18 06:09:11    阅读次数:317
从技术到管理的问题
案例1 技术到管理如何起步:小范从开发人员转PM,有理论没有实践。入职新公司的职位是PM,但每件事无从下手,不知道该干什么,心里害怕,但一想不去做会就会越来越害怕,想请教上司,上级也忙着开会。想有好的开端但又不知该如何去做。 首先要了解技术与管理的区别,技术是对事,一件事做好就行,但是管理是对人和项目,是一个团队整体的表现,只有整个项目成功才是好的管理。 其次就是刚来一个公司应该熟悉公司的流程...
分类:其他好文   时间:2014-05-18 04:46:00    阅读次数:250
Hadoop-2.2.0中文文档—— Common - Native Libraries Guide
概览 这个入门教程描述了native(本地?原生?)hadoop库,包含了一小部分关于native hadoop共享库的讨论。 This guide describes the native hadoop library and includes a small discussion about native shared libraries. 注意: 根据你的环境,词组 "native l...
分类:其他好文   时间:2014-05-18 03:21:01    阅读次数:458
Maven构建Hadoop开发环境
Maven构建Hadoop开发环境
分类:其他好文   时间:2014-05-17 22:48:13    阅读次数:258
Install RHadoop with Hadoop 2.2 – Red Hat Linux
PrerequisiteHadoop 2.2 has been installed (and the below installation steps should be applied on each of Hadoop node)Step 1. Install R (by yum)[hadoop...
分类:系统相关   时间:2014-05-17 21:51:24    阅读次数:671
SNN--Second Name Node
NameNode有这么几个配置:PropertyDescriptionSuggested valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s metadata/home/hadoop/dfs/namedf...
分类:其他好文   时间:2014-05-17 18:56:09    阅读次数:367
HDFS基础和java api操作
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:编程语言   时间:2014-05-17 18:38:16    阅读次数:364
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!