Map-Reduce本身并不是算法;而是一种处理模式;因为在大数据分布式这种场景下,处理数据运算和单机版不同;需要协同多台机器,并行计算;于是有了map-reduce这种模式,map阶段是数据处理,在各个机器上面进行并行计算,可以算作是对于数据的一个过滤+计算过程,对于需要计算的数据进行收集(map ...
分类:
其他好文 时间:
2018-07-06 22:33:37
阅读次数:
199
MySQL主从复制概念Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的
分类:
数据库 时间:
2018-07-06 12:19:57
阅读次数:
217
Redis Cluster是Redis的分布式解决方案,在Redis 3.0版本正式推出的,有效解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时,可以采用Cluster架构达到负载均衡的目的。 数据分布理论与Redis的数据分区 分布式数据库首要解决把整个数据集按照分区规则映射到 ...
分类:
其他好文 时间:
2018-06-24 23:51:47
阅读次数:
371
连接查询 inner join,用的最多,表示多张表一一对应 聚合函数 操作行数据,进行合并 sum、avg、count、max、min 开窗函数 将合并的数据分布到原表的每一行,相当于多出来了一列,这一列可能是sum求和的数、或者avg平均数的值 也可以与排名函数一起使用 ...
分类:
数据库 时间:
2018-06-23 20:52:29
阅读次数:
232
MySQL的扩展 读写分离 复制:每个节点都有相同的数据集 向外扩展 二进制日志 单向 复制的功用: 数据分布 负载均衡读 备份 高可用和故障切换 MySQL升级测试 MySQL复制相关概念 主从复制:主节点将数据同步到多个从节点 级联复制:主节点将数据同步到一个从节点,其他的从节点在向从节点复制数 ...
分类:
数据库 时间:
2018-06-17 23:19:30
阅读次数:
270
传送门 : "COGS 2638. 数列操作ψ 线段树" 这道题让我们维护区间最大值,以及维护区间and,or一个数 我们考虑用线段树进行维护,这时候我们就要用到吉司机线段树啦 QAQ 由于发现若干次and,or之后,如果数据分布均匀,那么几乎所有的数在若干次操作后都会变成同一个数 因为我们的and ...
分类:
其他好文 时间:
2018-06-15 10:51:40
阅读次数:
158
Skip list(跳表)是一种可以代替平衡树的数据结构,默认是按照Key值升序的。Skip list让已排序的数据分布在多层链表中,以0 1随机数决定一个数据的向上攀升与否,通过“空间来换取时间”的一个算法,在每个节点中增加了向前的指 针,在插入、删除、查找时可以忽略一些不可能涉及到的结点,从而提 ...
分类:
编程语言 时间:
2018-06-14 01:08:53
阅读次数:
181
1. 数据 1 数据对象与属性类型 属性 1. 标称属性 2. 二元属性(布尔属性) 3. 序数属性 4. 数值属性 1. 区间标度属性 2. 比率标度属性 5. 离散属性与连续属性 2. 数据的基本统计描述 1. 中心趋势度量:均值、中位数和众数 2. 度量数据分布:极差、四分位数、方差、标准差和 ...
分类:
其他好文 时间:
2018-06-12 10:23:50
阅读次数:
175
1 Redis介绍 1.1 什么是NoSql 为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案,就是NoSql数据库 NoSql(Not only Sql)非关系型数据库,它可以作为关系型数据库的良好补充。 1.2 NoSql数据库的分类 》 键值(Key-Value)存储数据 ...
分类:
其他好文 时间:
2018-06-08 00:53:18
阅读次数:
170