基于Dedup的数据打包技术0、引言 Tar, winrar, winzip是最为常见的数据打包工具软件，它们把文件集体封装成一个单独的数据包，从而方便数据的分布、传输、归档以及持久保存等目的。这类工具通常都支持数据压缩技术，从而有效减少数据的存储空间，常用压缩算法有Huffman编码、Z77/z7 ...
分类：
其他好文 时间：
2017-05-07 12:54:45
阅读次数：
297
HBase:HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提 ...
分类：
其他好文 时间：
2017-05-04 18:30:01
阅读次数：
218
一、概述 在分布式环境下，开发者通常会遇到一些分布存储的场景，例如数据库的分库分表（比如用户id尾号为1的放入数据库1，id尾号为2的放入数据库2）；又如分布式缓存数据的获取（比如根据ip地址进行缓存数据的分布存放）。在这种情况下，如何快速的将数据放入指定的位置，又如何快速获取是个最基本的要求，对于 ...
分类：
编程语言 时间：
2017-04-08 11:18:52
阅读次数：
289
Redis简介 1.Redis是一个开源的，使用C语言编写，面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。Redis纯粹为应用而产生，它是一个高性能的key-value数据库,并且提供了多种语言的API2.性能测试结果表示SET操作每秒钟可达11 ...
分类：
其他好文 时间：
2017-04-06 12:29:36
阅读次数：
209
问题：研究表明，在某些应用下，1∶35的比例就会使某些分类方法无效，甚至1∶10的比例也会使某些分类方法无效。（1）少数类所包含的信息就会很有限，从而难以确定少数类数据的分布，即在其内部难以发现规律，进而造成少数类的识别率低（2）数据碎片。很多分类算法采用分治法，样本空间的逐渐划分会导致数据碎片问题 ...
分类：
其他好文 时间：
2017-04-01 00:48:25
阅读次数：
291
分布式计算框架Hadoop 1 Hadoop是什么？ Hadoop是一种开源的适合大数据的分布式存储和处理的平台。 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Apache Had ...
分类：
其他好文 时间：
2017-03-19 16:05:27
阅读次数：
387
一、对数据的分布进行初步判断 1.1 原理 对于不同的分布，有特定的偏度(skewness)和峰度(kurtosis)，正态分布、均匀分布、逻辑斯谛分布、指数分布的偏度和峰度都是特定的值，在偏度-峰度图中是特定的点，而伽马分布和对数正态分布在偏度-峰度图中是一条直线，贝塔分布在偏度-峰度图中是一片区 ...
分类：
其他好文 时间：
2017-02-09 17:38:38
阅读次数：
468
Redis简介 Redis是一个开源的，使用C语言编写，面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。Redis纯粹为应用而产生，它是一个高性能的key-value数据库,并且提供了多种语言的API 性能测试结果表示SET操作每秒钟可达11000 ...
转自：Oracle索引HINT的使用 存储在数据库中数据的分布情况开发人员或管理员比Oracle优化器更加的清楚，在优化器不能作出最有查询路径选择的情况下，使用HINT（提示）人为的固定查询路径，一定程度能生成更优的执行计划。 在SQL的查询过程中，索引是快速查询数据的方法之一，是最重要、最常见的手... ...
分类：
数据库 时间：
2016-12-29 16:32:46
阅读次数：
306
分片（Sharding） 分片就是将数据进行拆分，并将其分别存储在不同的服务器上 MongoDB支持自动分片能够自动处理数据在分片上的分布 MongoDB分片有三种角色 配置服务器：一个单独的mongod进程，主要记录了哪个分片服务器包含了哪些数据的信息，保存的只是数据的分布表，如果配置服务器不可用... ...
分类：
数据库 时间：
2016-11-30 14:15:12
阅读次数：
182
