首先从Support官网下载语言包到本地,并将此语言包传到管理服务器的/usr/share/fonts/truetype/目录。打开SmartConsole->Logs&Monitor->Reports新点开一个标签,然后点击theActions->Importbutton一个新模板出现,双击即可使用。
分类:
其他好文 时间:
2016-07-14 15:55:35
阅读次数:
187
如果程序中,对某一个RDD,基于它进行了多次transformation或者action操作。那么就非常有必要对其进行持久化操作,以避免对一个RDD反复进行计算。 此外,如果要保证在RDD的持久化数据可能丢失的情况下,还要保证高性能,那么可以对RDD进行Checkpoint操作。(也就是多次用到中间 ...
分类:
其他好文 时间:
2016-07-13 22:46:19
阅读次数:
204
1. 我们发现计算步骤特别耗时,就在之前进行persist 2. 如果我们的计算链条特别长,就在之前进行persist 3. 在checkpoint之前,必须进行persist checkpoint是属于transform操作,也就是说,在最后的action被触发后,计算完成,框架发现在中间有一个c ...
分类:
其他好文 时间:
2016-07-11 01:03:11
阅读次数:
152
Spark是基于内存的计算模型,但是当compute chain非常长或者某个计算代价非常大时,能将某些计算的结果进行缓存就显得很方便了。Spark提供了两种缓存的方法 Cache 和 checkPoint。本章只关注 Cache (基于spark-core_2.10),在后续的章节中会提到 che ...
分类:
系统相关 时间:
2016-07-07 19:32:49
阅读次数:
322
在一个时间点,从Server上查询到的系统Session的Wait type 截图 1,CHECKPOINT_QUEUE Occurs while the checkpoint task is waiting for the next checkpoint request. Description: ...
分类:
其他好文 时间:
2016-06-14 19:33:20
阅读次数:
167
https://github.com/boucher/docker/releases https://github.com/boucher/docker/releases/tag/v1.9.0-experimental-cr.1 download: docker-1.9.0-dev mv docke ...
分类:
系统相关 时间:
2016-06-09 23:33:10
阅读次数:
569
简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate ...
分类:
其他好文 时间:
2016-06-08 15:57:18
阅读次数:
257
innobackupex备份和恢复原理备份原理:1.找到redolog中最后一个checkpoint的lsn,从这个lsn开始记录所有新的redolog2.cpinnodb数据3.flushtableswithreadlock(加全局锁)4.复制所有myisam表和所有表的表结构文件5.锁定binlog文件6.记录当前的binlogfile和pos恢复原理:innobackup..
分类:
其他好文 时间:
2016-05-31 06:39:45
阅读次数:
565
一、Checkpoint到底是什么?1,Spark在生产环境下经常会面临Tranformations的RDD非常多(例如一个Job中包含1万个RDD)或者具体Tranformation产生的RDD本身计算特别复杂和耗时(例如计算时常超过1个小时),此时我们必须考虑对计算结果数据的持久化;2,Spark是擅长多步骤迭代,..
分类:
其他好文 时间:
2016-05-15 19:56:01
阅读次数:
173
本节课程主要分二个部分:
一、Spark Streaming updateStateByKey案例实战
二、Spark Streaming updateStateByKey源码解密
第一部分:
updateStateByKey它的主要功能是随着时间的流逝,在Spark Streaming中可以为每一个key可以通过CheckPoint来维护一份state状态,通过更新函数对该k...
分类:
其他好文 时间:
2016-05-12 11:43:05
阅读次数:
176