1.复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将...
分类：
数据库 时间：
2014-08-21 11:20:53
阅读次数：
190
Meanshift（均值漂移）是一种在一组数据的密度分布中寻找局部极值的稳定的方法。Meanshift不仅能够用于图像滤波，视频跟踪，还能够用于图像切割。 通过给出一组多维数据点，其维数是(x,y,r,g,b)，均值漂移能够用一个窗体扫描空间来找到数据密度最大的区域，能够理解为数据分布最集中的...
分类：
其他好文 时间：
2014-08-19 22:08:55
阅读次数：
292
今天网上看到一篇关于收集统计信息的文章，还不错，特转载下来。
1. 理解什么是统计信息
优化器统计信息就是一个更加详细描述数据库和数据库对象的集合，这些统计信息被用于查询优化器，让其为每条SQL语句选择最佳的执行计划。优化器统计信息包括:
· 表的统计信息
o 行数
o Block数
o 行平均长度
· 列的统计信息
o 列中不同值的数量
o 列中null的数量
o 数据分布(柱状图/直方图)
· 索引的统计信息
o 叶子块...
分类：
数据库 时间：
2014-08-08 02:03:15
阅读次数：
398
Hadoop与Hadoop生态系统的区别Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce；Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可...
分类：
其他好文 时间：
2014-08-02 15:27:03
阅读次数：
215
1、复制概述1.1、复制解决的问题数据复制技术有以下一些特点：(1) 数据分布(2) 负载平衡(load balancing)(3) 备份(4) 高可用性(high availability)和容错1.2、复制如何工作从高层来看，复制分成三步：(1) master将改变记录到二进制日志(binary...
分类：
数据库 时间：
2014-08-01 04:49:31
阅读次数：
313
张长水：大数据时代的机器学习 VS 传统机器学习
从机器学习角度看，“大数据”指的是数据量大，数据本身不够精确，数据混杂，数据自然产生。机器学习对大数据的处理的两个挑战：
数据量大导致计算困难
分布在不同服务器上的数据存在一定联系，这些数据基本上不满足“独立同分布”假设，传统的模型和算法很难适应。
大数据时代给机器学习带来新的机遇：
在某些应用条件下，高维空间中的局部数据变得稠密。这个现象可以为分类器的设计提供更丰富的信息。甚至使分类器在性能上接近理论极限性能。
大数据使样本空间原本“空旷”的区域出现样本，...
分类：
其他好文 时间：
2014-07-24 23:37:33
阅读次数：
370
最近在学习视频检索领域的镜头分割方面的知识，发现常用的方法是直方图的方法，所以才专门有时间来学习下。查看到这两种直方图的时候，感觉有点接近，好像又不同，放在这做个比较。大部分还是百科的内容，不过对基本理解还是够了.OK，开始正文~
首先，介绍下什么是直方图
在统计学中，直方图（英语：Histogram）是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样...
分类：
其他好文 时间：
2014-07-23 20:55:05
阅读次数：
354
##分布式存储中的应用 --- 在分布式存储系统中，将数据分布至多个节点的方式之一是使用哈希算法。假设初始节点数为 N，则传统的对 N 取模的映射方式存在一个问题在于：当节点增删，即 N 值变化时，整个**哈希表*...
分类：
其他好文 时间：
2014-07-22 08:22:37
阅读次数：
155
数据倾斜：数据分布不均匀，造成数据大量的集中到一点，造成数据热点；由于数据并不是平均分配的，会导致各个节点上处理的数据量是不均衡的，所以数据倾斜是无法避免的；造成数据倾斜的最根本原因：key分发不均匀造成的；常见的数据倾斜的症状1) Map阶段快，reduce阶段非常慢；2) 某些map很快，某些m...
分类：
其他好文 时间：
2014-07-20 22:18:56
阅读次数：
232
1.RAID 廉价磁盘冗余阵列2.Symbolic links 通俗易懂的说就是通过连接符指向的操作，人为的将某些数据库分布到其他的文件夹/磁盘上 Linux: Mysql DATA路径：/opt/mysql/data mkdir /usr/mysql/data/test 创建一个目...
分类：
数据库 时间：
2014-07-12 15:50:04
阅读次数：
241
