DW一直以来是企业信息与决策支持系统的核心组件，随着各类日志、社交、传感等非结构化数据的加入，企业内部数据按指数级增长，传统DW已经达到一个关键临界点——需要大量的资源投入到硬件、优化、支持和维护中，当前大部分使用Apache Hadoop来处理各种来源的大数据，但传统数据仓库不允许最终用户查询非结 ...
分类：
其他好文 时间：
2016-09-18 20:52:07
阅读次数：
196
ElaticSearch简介： ES是一个搜索引擎，基于当前最先进，最高效的全功能开源搜索引擎框架lucene ES还有许多功能： 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索 实时分析的分布式搜索引擎 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据 ES和SOLR的比较 ...
分类：
其他好文 时间：
2016-08-27 00:16:50
阅读次数：
225
Lucene 简述
Lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。数据可以三种：
结构化数据（具有固定格式或有限长度的数据）
非结构化数据
半结构化数据
对于结构化数据一般使用SQL语句查询，而非结构化数据有顺序扫描和全文检索。Lucene 文件结构
层次结构：索引 -> 段 ->...
分类：
Web程序 时间：
2016-08-17 12:25:00
阅读次数：
234
概述 相对于结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 非结构化数据库是指其字段长度可变，并且每个字段的记录又可以 ...
分类：
其他好文 时间：
2016-07-24 16:26:17
阅读次数：
197
在金融企业里，各类IT系统中的结构化数据往往都具有较高的安全防护，但是分散存储在员工电脑中的文档、音视频等非结构化数据却几乎都在“裸奔”。不论是传统金融企业还是新兴互联网金融企业，均存在文件安全性低、权限管理不严、协同效率低下等问题，不仅影响了员工的办公效率..
分类：
系统相关 时间：
2016-07-22 19:44:54
阅读次数：
300
memcached：数据结构模型：结构化数据：关系型数据库；遵循前3个范式是最基本的条件；在各种场景中都是瓶颈；半结构化数据：xml，json，…（NoSQL是非关系型的数据库统称）等格式的数据；需要半结构化数据存储；非结构化数据：需要非结构化数据存储；比较常见是文件系统；互联..
分类：
系统相关 时间：
2016-07-05 12:30:35
阅读次数：
737
1、HBase概述
HBase是hadoop生态系统中的重要组成部分，是一个开源的、面向列、适合存储海量非结构化数据或半结构化数据，具备高可靠性、高性能、可灵活扩展伸缩、支持实时数据读写的分布式存储系统
存储在Hbase中的表的特征
1、大：一个表可以有上亿行，上百万列
2、任意模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中的不同的行，它们...
分类：
其他好文 时间：
2016-06-22 00:29:23
阅读次数：
123
1、HBase概述 HBase是hadoop生态系统中的重要组成部分，是一个开源的、面向列、适合存储海量非结构化数据或半结构化数据，具备高可靠性、高性能、可灵活扩展伸缩、支持实时数据读写的分布式存储系统 存储在Hbase中的表的特征 1、大：一个表可以有上亿行，上百万列 2、任意模式：每行都有一个可 ...
分类：
其他好文 时间：
2016-06-21 12:35:55
阅读次数：
137
0x01 背景之所以要实现这个缓存主要原因如下(但是由于不是实际业务场景需求，所以可能不太准确，也可能不存在这个需求):
* 非结构化数据的爆炸式增长
* 处理速度的要求越来越高
* HBase是面向硬盘的
* 内存容量越来越大
* 热点数据可以在内存放下0x02 设计方案通常的要实现缓存，主要是在有两个大方向实现，一个是在客户端实现，另一个时在服务端实现
* 客户端实现
- 修改H...
分类：
其他好文 时间：
2016-06-21 07:06:47
阅读次数：
176
大数据思维原理是什么?简单概括为10项原理，当样本数量足够大时，你会发现其实每个人都是一模一样的。
一、数据核心原理
从“流程”核心转变为“数据”核心
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的...
分类：
其他好文 时间：
2016-06-12 02:51:41
阅读次数：
158
