Spark最基本、最根本的数据抽象 RDD基于内存，提高了迭代式、交互式操作的性能 RDD是只读的，只能通过其他RDD批量操作来创建，提高容错性 另外RDD还具有位置感知性调度和可伸缩性 RDD只支持粗粒度转换，记录Lineage，用于恢复丢失的分区，从物理存储的数据计算出相应的RDD分区 RDD的 ...
分类：
其他好文 时间：
2018-03-06 23:16:00
阅读次数：
180
1.就近匹配原则。#注意悬挂else 2.三元操作符： small = x if x<y else y 3.断言,assert后边条件为假时，程序自动崩溃异常（用于测试程序） 在程序中置入检查点，当需确保程序中某个条件一定为真才能让程序正常运行。 >>>assert 3<4 >>>assert 4> ...
分类：
其他好文 时间：
2018-03-03 21:25:36
阅读次数：
149
本章给大家介绍有关Windows Server 2016 中存储方面的新增功能，具体内容如下： 1、Storage Spaces Direct： 存储空间直通允许通过使用具有本地存储的服务器构建高可用性和可缩放存储。 该功能简化了软件定义的存储系统的部署和管理并且允许使用 SATA SSD 和 NV ...
一.分布式存储 NameNode（名称节点） 1.维护HDFS文件系统，是HDFS的主节点。 2.接收客户端的请求：上传、下载文件、创建目录等。 3.记录客户端操作的日志（edits文件），保存了HDFS最新的状态 1）Edits文件保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增 ...
分类：
Web程序 时间：
2018-02-20 23:57:30
阅读次数：
331
Python入门基础学习 三 数据类型 Python区分整型和浮点型依靠的是小数点，有小数点就是浮点型。 e记法：e就是10的意思，是一种科学的计数法，15000=1.5e4 布尔类型是一种特殊的整形，true就相当于1，false相当于0，可以用来计算 类型转换 转换：整数:int();字符串：s ...
分类：
编程语言 时间：
2018-02-16 22:34:11
阅读次数：
189
检查点又名断言，我们在手工测试过程中肉眼以及自己的逻辑思维对实际结果进行判断是否与预期结果一致，但是工具是死的，没有眼睛，没有思维，并不知道需要判断的信息在哪块，或者是来判断什么东西，我们需要让工具更灵活一点，只有给工具加入一种逻辑，才会进行执行某种逻辑。而检查点则就是工具的‘眼睛’用来判断是否达到 ...
分类：
其他好文 时间：
2018-01-30 19:41:23
阅读次数：
179
配置源 配置源定义和实现了获取配置文件的方式。有两种配置源，一种是主动拉去方式获取配置，一种是被动监听方式获取配置 类图结构： 接口PolledConfigurationSource定义了获取配置的方法 initial是否是初次获取，checkPoint上次获取的检查点。 JDBCConfigura ...
分类：
其他好文 时间：
2018-01-27 13:41:05
阅读次数：
234
1、badboy中的检查点：选中搜索内容，点击tools->Add Assertion for Selection ,如图所示，添加成功 建立参数化列表 文本参数化 Variables下右键add Variables， 添加完成后，去请求中替换参数（带有response中是我们相应的参数），选择qu ...
分类：
数据库 时间：
2018-01-26 00:24:09
阅读次数：
238
最近一直忙着检查点测试平台的开发。之前主要是从事后端开发，现在所有的东西都需要自己一个人撸。也遇到了之前在后端服务开发中未碰到的问题，在此记录下解决的全过程。 前端采用vue + element的技术，开发完成后生成静态文件扔到nginx服务器上。后端用python的flask，完成之后放到guni ...
分类：
其他好文 时间：
2018-01-25 15:36:26
阅读次数：
1155
一 简介:今天咱们来聊聊checkpoint 二 定义: checkpoin是重做日志对数据页刷新到磁盘的操作做的检查点，通过LSN号保存记录，作用是当发生宕机等crash情况时，再次启动时会查询checkpoint点，在该检查点之后发生的事物修改恢复到磁盘。 三 作用: 1 缩短数据库的恢复时间 ...
分类：
数据库 时间：
2018-01-24 15:26:28
阅读次数：
202
