决定通过一个个例子来实践并掌握Matplotlib。。 例子1. 画一个散点图,数据分布如下: 前两列是成绩,第三列是分类,只有01两类 然后开始画图: 例子2. 画出函数曲线 函数是下面这个: 画图: ...
分类:
其他好文 时间:
2018-08-26 20:48:34
阅读次数:
182
spark一个最重要的特性就是对数据集在各个节点的分区进行控制。控制数据分布可以减少网络开销,极大地提升整体性能。spark core之数据分区主要包括:分区器、影响分区的算子操作、repartition和partitionby的区别、repartition和coalesce的区别、实例分析。
分类:
其他好文 时间:
2018-08-26 01:15:24
阅读次数:
210
直方图是表上某个字段在按照一定百分比和规律采样后的数据分布的一种描述,最重要的作用之一就是根据查询条件,预估符合条件的数据量,为sql执行计划的生成提供重要的依据在MySQL 8.0之前的版本中,MySQL仅有一个简单的统计信息却没有直方图,没有直方图的统计信息可以说是没有任何意义的。MySQL 8 ...
分类:
数据库 时间:
2018-08-23 22:16:15
阅读次数:
243
安装好zk之后 启动服务端:在bin目录下 启动客户端 zk的好处有哪些??? 1,master选举,提高系统的高可用性 2,统一配置文件管理 3,发布订阅,发布者可以把数据存在znode上,订阅者会读取这些数据 4,分布式锁 5,强一致性。集群管理,集群中保证数据的强一致性 当客户端连接到服务端之 ...
分类:
其他好文 时间:
2018-08-16 00:38:07
阅读次数:
223
一、高斯核函数、高斯函数 μ:期望值,均值,样本平均数;(决定告诉函数中心轴的位置:x = μ) σ2:方差;(度量随机样本和平均值之间的偏离程度:, 为总体方差, 为变量, 为总体均值, 为总体例数) σ:标准差;(反应样本数据分布的情况:σ 越小高斯分布越窄,样本分布越集中;σ 越大高斯分布越宽 ...
分类:
其他好文 时间:
2018-08-13 19:38:54
阅读次数:
2933
2.1 用图表表示定性数据 1、频数分布表 对数据进行分类,列出所有的类别,然后统计每一类别的频数。 频数:频数分布表中落在某一特定类别的数据个数叫做频数。 有两个变量交叉分类的频数分布表称为列联表,也称交叉表。 定性数据,除了用频数分布表,还可以使用比例、百分比、比率等统计量进行描述。 比例:一个 ...
分类:
其他好文 时间:
2018-07-30 18:39:30
阅读次数:
174
本文通过大量图片来分解、描述分库、分表以及数据库分区是怎样进行的。 1.sharding前的初始数据分布 在本文中,我打算用高考考生相关信息作为实验数据。请无视表的字段是否符合现实,也请无视表的设计是否符合范式。 3张表: 考生表,存放全国所有高考考生信息,假设34个省、(直辖)市、(自治区、特别行 ...
分类:
其他好文 时间:
2018-07-30 01:05:27
阅读次数:
161
企业应用: 1 行业领域 区分行业,各自领域业务背景不一样,并形成了一定的门槛。 2 业务逻辑 业务逻辑复杂,涉及大量的数据和多人协同处理。 3 数据一致性 强调数据一致性,需要通过事务,交易中间件,数据库锁,java同步机制来保证数据的一致性。 4 数据复杂度 数据复杂,有大量的表,表之间有复杂的 ...
分类:
其他好文 时间:
2018-07-29 14:21:03
阅读次数:
211
什么是MFS?MooseFS是一个容错,高可用,高性能,扩展,网络分布式文件系统。它将数据分布在多个物理商品服务器上,这些服务器对用户可视为一个虚拟磁盘。它符合POSIX并且像任何其他类Unix文件系统一样支持:分层结构:文件和文件夹,文件属性,特殊文件:管道,插座,块和字符设备,符号和硬链接,安全属性和ACL。它适用于需要标准文件系统的所有应用程序。分布式原理分布式文件系统是指文件系统管理的物理
分类:
其他好文 时间:
2018-07-26 21:20:01
阅读次数:
178
作者介绍: 卢向澄 金融科技领域十余年工作经验,目前在中国证券登记结算公司从事技术架构工作,专注于技术中台、云平台、大数据平台等领域。 1. 背景介绍 我国股市约有1.2亿散户,直接关乎上亿家庭、数亿人切身利益,保护好投资者尤其是中小投资者的合法权益,是资本市场工作人民性的具体体现,也是服务实体经济 ...
分类:
其他好文 时间:
2018-07-26 10:17:04
阅读次数:
458