简介本文描述了一种列存储方式和对应的查询方法，这种存储方式具有更好的查询性能和更小的存储空间。 And查询 本文先用直观的图形方式展示and查询时的方式，这也是算法要解决的问题核心。通常在OLAP数据查询时，需要进行and处理，例如你需要获取 year = 2017 and customer = 1 ...
分类：
其他好文 时间：
2017-08-12 21:21:19
阅读次数：
151
它有一个设计合理、功能强大的内部架构，大幅度提升了性能，但某些物理故障或其他操作都可能会对卷或存储造成破坏，因此对系列存储的数据恢复技术才有了用武之地。而发生这些故障之后只能找专业的数据恢复公司做数据挽救工作。我最近处理了一起浪潮服务器因磁盘故障导致存储不..
分类：
其他好文 时间：
2017-08-10 23:50:57
阅读次数：
244
分布式爬虫概述 什么是分布式爬虫： 多个爬虫分布在不同的服务器上，通过状态管理器进行统一调度，达到像URL去重等功能的爬虫系统 分布式爬虫的优点 1） 充分利用多台机器的宽带加速 2）充分利用多机器的IP加速爬取速度 Scrapy分布式爬虫原理 单机Scrapy爬虫架构 分布式爬虫需要改进的Scra ...
分类：
其他好文 时间：
2017-08-08 20:06:58
阅读次数：
163
接着前面的Zookeeper部署之后，现在可以学习HBase了。 HBase是基于Hadoop的开源分布式数据库，它以Google的BigTable为原型，设计并实现了具有高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统，它是基于列而不是基于行的模式，适合存储非结构化数据。 体系结构：H ...
分类：
其他好文 时间：
2017-08-06 15:09:07
阅读次数：
272
一般访问量比较大的网站,请求日志表都是每天一张表独立创建. 业务需要为每张表都添加一个新列,纠结了半天,写了个存储过程如下: 日志表结构类型 tbl_ads_req_20140801, tbl_ads_req_20140802 ... DELIMITER //create procedure sp2 ...
分类：
数据库 时间：
2017-08-02 19:54:41
阅读次数：
187
以上这段官方文档的定义，我们可以抽出成以下几个关键点： 1、hashCode的存在主要是用于查找的快捷性，如Hashtable，HashMap等，hashCode是用来在散列存储结构中确定对象的存储地址的； 2、如果两个对象相同，就是适用于equals(Java.lang.Object) 方法，那么 ...
分类：
其他好文 时间：
2017-08-02 10:24:40
阅读次数：
134
? HDFS块内行存储的例子 ? HDFS块内列存储的例子 ? HDFS块内RCFile方式存储的例子 ...
分类：
其他好文 时间：
2017-07-27 12:44:44
阅读次数：
134
给出n个数，n<=250000，求这n个数的中位数，内存限制1mb 卡内存的神题，用数组存下来刚好1mb，再加上执行时消耗内存。立即爆。因此我们用优先队列存储一半的数。网上的某些代码，用priority_queue全爆内存。我存的125000长度的数组。加上STL的make_heap() #incl ...
分类：
其他好文 时间：
2017-07-24 22:34:23
阅读次数：
187
在程序中，经常需要将?组（通常是同为某个类型的）数据元素作为整体 管理和使?，需要创建这种元素组，?变量记录它们，传进传出函数等。 ?组数据中包含的元素个数可能发?变化（可以增加或删除元素）。 对于这种需求，最简单的解决?案便是将这样?组元素看成?个序列，? 元素在序列?的位置和顺序，表示实际应?中 ...
分类：
编程语言 时间：
2017-07-24 18:55:52
阅读次数：
160
逻辑结构类型 集合（平等） 线性结构（一对一） 树形结构（一对多） 图形结构（多对多） 存储结构类型 顺序存储结构 链式存储结构 索引存储结构 哈希（散列）存储结构 数据类型：一个值的集合和定义在此集合上的一组操作的总称。（eg：int） 抽象数据类型ADT=逻辑结构+抽象运算（eg：复数）comp ...
分类：
其他好文 时间：
2017-07-14 22:09:25
阅读次数：
120
