码迷,mamicode.com
首页 >  
搜索关键字:checkpoint    ( 354个结果
CheckPoint Security Checkup 中文支持
首先从Support官网下载语言包到本地,并将此语言包传到管理服务器的/usr/share/fonts/truetype/目录。打开SmartConsole->Logs&Monitor->Reports新点开一个标签,然后点击theActions->Importbutton一个新模板出现,双击即可使用。
分类:其他好文   时间:2016-07-14 15:55:35    阅读次数:187
spark新能优化之多次使用RDD的持久化或checkPoint
如果程序中,对某一个RDD,基于它进行了多次transformation或者action操作。那么就非常有必要对其进行持久化操作,以避免对一个RDD反复进行计算。 此外,如果要保证在RDD的持久化数据可能丢失的情况下,还要保证高性能,那么可以对RDD进行Checkpoint操作。(也就是多次用到中间 ...
分类:其他好文   时间:2016-07-13 22:46:19    阅读次数:204
什么时候手动指定persist
1. 我们发现计算步骤特别耗时,就在之前进行persist 2. 如果我们的计算链条特别长,就在之前进行persist 3. 在checkpoint之前,必须进行persist checkpoint是属于transform操作,也就是说,在最后的action被触发后,计算完成,框架发现在中间有一个c ...
分类:其他好文   时间:2016-07-11 01:03:11    阅读次数:152
Spark 代码走读之 Cache
Spark是基于内存的计算模型,但是当compute chain非常长或者某个计算代价非常大时,能将某些计算的结果进行缓存就显得很方便了。Spark提供了两种缓存的方法 Cache 和 checkPoint。本章只关注 Cache (基于spark-core_2.10),在后续的章节中会提到 che ...
分类:系统相关   时间:2016-07-07 19:32:49    阅读次数:322
系统Session的WaitType
在一个时间点,从Server上查询到的系统Session的Wait type 截图 1,CHECKPOINT_QUEUE Occurs while the checkpoint task is waiting for the next checkpoint request. Description: ...
分类:其他好文   时间:2016-06-14 19:33:20    阅读次数:167
use native docker checkpoint/restore on Ubuntu 14.04
https://github.com/boucher/docker/releases https://github.com/boucher/docker/releases/tag/v1.9.0-experimental-cr.1 download: docker-1.9.0-dev mv docke ...
分类:系统相关   时间:2016-06-09 23:33:10    阅读次数:569
解决简单恢复模式下产生的日志增长
简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate ...
分类:其他好文   时间:2016-06-08 15:57:18    阅读次数:257
innobackupex备份和恢复原理
innobackupex备份和恢复原理备份原理:1.找到redolog中最后一个checkpoint的lsn,从这个lsn开始记录所有新的redolog2.cpinnodb数据3.flushtableswithreadlock(加全局锁)4.复制所有myisam表和所有表的表结构文件5.锁定binlog文件6.记录当前的binlogfile和pos恢复原理:innobackup..
分类:其他好文   时间:2016-05-31 06:39:45    阅读次数:565
Spark CheckPoint彻底解密(41)
一、Checkpoint到底是什么?1,Spark在生产环境下经常会面临Tranformations的RDD非常多(例如一个Job中包含1万个RDD)或者具体Tranformation产生的RDD本身计算特别复杂和耗时(例如计算时常超过1个小时),此时我们必须考虑对计算结果数据的持久化;2,Spark是擅长多步骤迭代,..
分类:其他好文   时间:2016-05-15 19:56:01    阅读次数:173
第93讲:Spark Streaming updateStateByKey案例实战和内幕源码
本节课程主要分二个部分: 一、Spark Streaming updateStateByKey案例实战 二、Spark Streaming updateStateByKey源码解密 第一部分: updateStateByKey它的主要功能是随着时间的流逝,在Spark Streaming中可以为每一个key可以通过CheckPoint来维护一份state状态,通过更新函数对该k...
分类:其他好文   时间:2016-05-12 11:43:05    阅读次数:176
354条   上一页 1 ... 21 22 23 24 25 ... 36 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!