码迷,mamicode.com
首页 >  
搜索关键字:spark streaming 作业 容错    ( 29616个结果
Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
简介 此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。 Use Case 下一部分描述的的代码示例对此用户用例是可用的。 一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类:其他好文   时间:2014-05-22 10:40:41    阅读次数:255
Demo02_对结构体进行文件读写_张仕传_作业_
#include using namespace std;#define StructArrarySize 5 // 老师数量 #define StudentNum 3 // 每位老师...
分类:其他好文   时间:2014-05-20 00:11:27    阅读次数:342
王玲玲作业题
1.中的Codebehind、A2utoEventWireup、Inherits有何作用?AutoEventWireup --- 指示是否自动启用页事件。 Codebehind --- 指示后台代码文件。 Inherits --- 继承类。AutoEventWireup:指示该页的事件是否为自动连网...
分类:其他好文   时间:2014-05-19 21:48:01    阅读次数:256
Linux 中 crontab 详解及示例
cron是一个linux下的定时执行工具,可以在无需人工干预的情况下运行作业。由于Cron 是Linux的内置服务,但它不自动起来,可以用以下的方法启动、关闭这个服务:/sbin/service crond start //启动服务/sbin/service crond stop //关闭服务/sb...
分类:系统相关   时间:2014-05-19 08:56:31    阅读次数:500
Apache Spark源码走读之9 -- Spark源码编译
本来源码编译没有什么可说的,对于java项目来说,只要会点maven或ant的简单命令,依葫芦画瓢,一下子就ok了。但到了Spark上面,事情似乎不这么简单,按照spark officical document上的来做,总会出现这样或那样的编译错误,让人懊恼不已。
分类:其他好文   时间:2014-05-18 20:25:57    阅读次数:391
深入Hadoop的调度器
Hadoop有两个大版本0.20.x,1.x通常为hadoop 1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop 2版本,在开发模型上类似1,都...
分类:其他好文   时间:2014-05-18 19:24:17    阅读次数:291
hadoop学习;Streaming,aggregate;combiner
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT 通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出) 通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:其他好文   时间:2014-05-18 15:12:21    阅读次数:380
动态规划(4)——最长上升子序列(作业题NYOJ201)
作业题描述小白同学这学期有一门课程叫做《数值计算方法》,这是一门有效使用数字计算机求数学问题近似解的方法与过程,以及由相关理论构成的学科……今天他们的Teacher S,给他们出了一道作业题。Teacher S给了他们很多的点,让他们利用拉格朗日插值公式,计算出某严格单调函数的曲线。现在小白抄下了这...
分类:其他好文   时间:2014-05-17 22:31:51    阅读次数:414
第三次冲刺(四)
由于昨天我们的模块功能基本都可以实现了,所以今天主要是将各个模块进行整合,我进行了作业功能的整合,由于我是晚上才弄得,所以还没有弄完,明天继续合成。
分类:其他好文   时间:2014-05-17 20:05:47    阅读次数:184
冲刺3-每日个人任务
昨天:完成了在主界面添加作业的控件今天:使用了delete及execSQL未能解决清空问题明天:继续处理这个问题
分类:其他好文   时间:2014-05-17 17:47:12    阅读次数:218
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!