码迷,mamicode.com
首页 >  
搜索关键字:hadoop block 策略    ( 46455个结果
编程算法基础3.3-测试驱动风格
3.3测试驱动风格 严格的说测试驱动风格不是设计风格,它是为了能够保证程序员思路清晰热情持续,我们采用的一种策略。   部队长时间在雪地上行走,会出现雪盲症,战士出现幻觉,像梦游,注意力不集中 一般派先前部队在路上在地上撒一些树枝或别的东西解决。   同理,程序员也一样,如果长时间编码缺少反馈,也会使程序员思维钝化,产生幻觉。 测试驱动可以使程序员能够把他的任务转变为不断地制造错误和...
分类:其他好文   时间:2014-05-22 13:39:32    阅读次数:242
hadoop备记
Hadoop 的优势 Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点: 1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。 2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类:其他好文   时间:2014-05-22 12:26:27    阅读次数:217
Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
简介 此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。 Use Case 下一部分描述的的代码示例对此用户用例是可用的。 一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类:其他好文   时间:2014-05-22 10:40:41    阅读次数:255
hadoop家族的各个成员
这篇文章不提原理,讲讲hadoop及其周边项目的作用。 hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢? 官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
分类:其他好文   时间:2014-05-22 10:34:39    阅读次数:288
MongoDB 日志太大怎么办?
MongoDB的日志增长的很快,/var所在的空间马上就占满了,即便换到另一个磁盘分区保存日志,日志还是增长的很快,磁盘眼看要告磬。有一个好办法,就是使用旋转日志。MongoDB的旋转日志有点怪,Linux下mongd服务接受一个kill -SGIUSR1命令后就立刻将当前日志文件重命名为带日期的文件,然后创建新的日志文件。不想一般的旋转日志,可以配置旋转策略。不过没关系,经过测试,发送该命令时不...
分类:数据库   时间:2014-05-22 07:47:22    阅读次数:427
hadoop学习;datajoin;chain签名;combine()
hadoop有种简化机制来管理job和control的非线性作业之间的依赖,job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。 x.addDeopendingJob(y)意味着x在y完成之前不会启动。 鉴于job对象存储着配置和依赖信息,jobcontrol对象会负责监管作业的执行,通过addjob(),你可以为jobcont...
分类:其他好文   时间:2014-05-22 07:27:41    阅读次数:287
hadoop多文件格式输入
版本:CDH5.0.0 (hdfs:2.3,mapreduce:2.3,yarn:2.3)hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:123,good number 124,common number 125,bad numberuser:zhangsan,123 lisi,124 w...
分类:其他好文   时间:2014-05-22 06:23:52    阅读次数:391
linux服务器本地和百度云备份脚本小试
linux系统本地备份策略,并利用百度云实现云端备份。...
分类:系统相关   时间:2014-05-20 15:48:30    阅读次数:320
C++ Primer 学习笔记_80_模板与泛型编程 --类模板成员
模板与泛型编程--类模板成员引言: 这一节我们介绍怎样实现前面提到的Queue模板类。 标准库将queue实现为其他容器之上的适配器。为了强调在使用低级数据结构中设计的编程要点,我们将Queue实现为链表。实际上,在我们的实现中使用标准库可能是个更好的决定!!-_-。1、Queue的实现策略 如图所示,我们实现两个类: 1)QueueItem类表示Queue的链表中的节点,该类有两个数据成员ite...
分类:编程语言   时间:2014-05-20 13:47:39    阅读次数:430
NHibernate之映射文件配置说明(转载2)
六、鉴别器 在"一棵对象继承树对应一个表"的策略中,元素是必需的, 它定义了表的鉴别器字段。 鉴别器字段包含标志值,用于告知持久化层应该为某个特定的行创建哪一个子类的实例。 如下这些受到限制的类型可以使用:String,Char,Int32,Byte,Short,Boolean,YesNo,Tru....
分类:系统相关   时间:2014-05-20 08:18:05    阅读次数:703
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!