Basic data persistence and storage 在本文中，我们将探索OpenCV中存储和读取我们的数据的函数。在许多应用中，比如校准(calibration)或者机器学习，我们需要处理数据计算，就需要保存结果以备下一个执行阶段重新获取。为此，OpenCV提供了一个XML/YAM ...
分类：
其他好文 时间：
2016-05-21 11:26:37
阅读次数：
170
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spa...
分类：
其他好文 时间：
2016-05-18 18:58:10
阅读次数：
209
调优概述
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
数据倾斜发生时的现象
1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个tas...
分类：
其他好文 时间：
2016-05-18 18:58:03
阅读次数：
221
AzureAutomation是Azure上的一个自动化工作流引擎，基于Powershell，来帮助用户简化，集成和自动化Azure上的运维工作，例如：实现定时开关虚拟机，节约成本实现定时创建删除HDInsightcluster执行大数据计算任务定时备份虚拟机上的数据库定时归档或者删除无用的日志文件自动化部..
分类：
其他好文 时间：
2016-05-16 17:47:38
阅读次数：
180
Azure Automation是Azure上的一个自动化工作流引擎，基于Powershell，来帮助用户简化，集成和自动化Azure上的运维工作，例如： 实现定时开关虚拟机，节约成本 实现定时创建删除HDInsight cluster执行大数据计算任务 定时备份虚拟机上的数据库 定时归档或者删除无 ...
分类：
其他好文 时间：
2016-05-16 17:22:22
阅读次数：
323
第七章 分布任务组件 Laxcus 2.0版本的分布任务组件，是在1.x版本的基础上，重新整合中间件和分布计算技术，按照新增加的功能，设计的一套新的、分布状态下运行的数据计算组件和数据构建组件，以及依此建立的新的运行框架、操作管理规范、API接口等。 新分布任务组件的改变主要体现在数据处理能力方面。 ...
分类：
其他好文 时间：
2016-05-12 08:03:21
阅读次数：
239
FPS和流畅度 FPS 1.dumpsys SurfaceFlinger –latency shell 脚本通过 dumpsys SurfaceFlinger --latency 数据计算 FPS 和评价流畅度 2.dumpsys gfxinfo FPS 计算方法的比较 3.dumpsys gfxi... ...
分类：
移动开发 时间：
2016-05-07 13:14:31
阅读次数：
458
转自：http://jianyu996.blog.163.com/blog/static/112114555201305113018814/ 首先两个方法都是异步执行。layoutSubviews方便数据计算，drawRect方便视图重绘。 layoutSubviews在以下情况下会被调用： 1、i ...
分类：
其他好文 时间：
2016-05-06 20:15:01
阅读次数：
134
HDFS中的数据完整性HDFSZ在写入数据的时候会计算数据的校验和，针对每个由dfs.bytes.per.checksum指定字节的数据计算校验和，默认为512个字节
当客户端读取数据的时候，会对数据的校验和进行检查，如果发现数据出现损坏，则会执行以下步骤：
1.向Namenode报告其正在读取的数据块和所在的Datanode，之后会抛出ChecksumException异常
2.Nam...
分类：
其他好文 时间：
2016-05-06 15:51:22
阅读次数：
189
在无线网络中，一个设备（如eNodeB）是按块（block）向另一个设备（如UE）发送数据的。发送端使用块中的数据计算出一个CRC，并随着该块一起发送到接收端。接收端根据收到的数据计算出一个CRC，并与接收到的CRC进行比较，如果二者相等，接收端就认为成功地收到了正确的数据，并向发送端回复一个“AC ...
分类：
其他好文 时间：
2016-05-05 15:49:08
阅读次数：
153
