题记： 近期在做某个大型银行的大数据项目，当在处理非结构化数据时，却发现他们给的数据并不符合hive和pig的处理要求，数据每行必须需要多个分割符才能完美处理，一下午也没有想到完美的办法解决，今天重新审视了一下整个过程。看来hive的命令行没法搞定了。于是乎，只能通过代码来搞定。1、重新实现hiv....
分类：
其他好文 时间：
2015-09-19 00:46:14
阅读次数：
287
学习全文检索后的一些记录。1：全文检索要解决的问题我们遇到的数据总体分为两种：结构化数据和非结构化数据。结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。对结构化的数据，我们可以用数据库等方式进行检索（效率差）。对于非结...
分类：
其他好文 时间：
2015-09-07 00:31:00
阅读次数：
141
本篇为这一段时间以来我对大数据相关技术的学习心得及理解，主要涉及以下几个方面： noSql， 集群， 数据挖掘， 机器学习，云计算，大数据，以及Hadoop和Spark。主要都是一些初级的概念澄清之类的东西，并且比较凌乱，慎入。* 1. NoSQL我的理解是，NoSQL主要用于存储一些非结构化数据,...
分类：
其他好文 时间：
2015-08-28 15:02:08
阅读次数：
211
NoSQL全名 Not Only SQL，而非No SQL
NoSQL是伴随着WEB2.0的兴起而迅速发展，它的出现就是为了解决大规模的非结构化数据的存储，所以目前市面上的NoSQL都天生支持【集群】和【数据分片】
这里的天生支持是指使用内部机制实现，而非类似MySql的集群和分片，需要使用插件MySQL Proxy来实现，所以在配置和使用上更加灵活以及稳定。
...
分类：
数据库 时间：
2015-08-27 23:10:33
阅读次数：
284
大数据：海量数据结构化数据：即行数据，能够存储在二维表中的数据非结构化数据：无法使用数据的二维逻辑表示数据。如word，ppt，图片半结构化数据：在结构化与非结构化之间，自我描述，将结构与数据本身存储在一起的数据：xml、json、htmlgoole的论文：MapReduce：SimplifiedD..
分类：
其他好文 时间：
2015-08-27 19:20:59
阅读次数：
282
本系列开始学习Lucene。 在我们处理的数据当中，分为三类数据： 结构化数据：具有固定格式或限定长度的数据，如我们的数据库中的数据 非结构化数据：无固定格式、无固定长度的数据，如我们web上的文本内容等 半结...
分类：
Web程序 时间：
2015-08-18 19:50:42
阅读次数：
157
1.什么是全文检索 数据分类 结构化数据: 指具有固定格式或有限长度的数据, 如数据库, 元数据等 非结构化数据: 指没有固定格式或不定长的数据, 也叫全文数据 搜索分类 对结构化数据的搜索: 如对数据的数值、 时间等进行搜索, 对Windows的文件名、类型的搜索等 对...
分类：
其他好文 时间：
2015-08-14 15:06:41
阅读次数：
147
Sequoiadb作为一个文档型NoSQL数据既可以存储结构化数据也可以存储非结构化数据，对于非结构化数据只能使用原生的API进行查询，对结构化数据我们可以选择使用原生的API和开源SQL引擎，目前PostgresSQL,Hive,SparkSQL都可以作为Sequoiadb的SQL引擎，应用中该如...
分类：
数据库 时间：
2015-08-09 00:24:45
阅读次数：
219
在实际应用中，我们会遇到各式各样的数据库如nosql非关系数据库（memcached，redis，mangodb），RDBMS关系数据库（oracle，mysql等），还有一些其它的数据库如hbase，在这些数据库中，又会出现结构化数据，非结构化数据，半结构化数据，下面列出各种数据类型：
结构化数据：
能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号。传统的关系数据模...
分类：
其他好文 时间：
2015-07-15 19:22:08
阅读次数：
178
曾经使用过mongoDB来保存文件，最一开始，只是想总结一下在开发中如何实现文件与mongoDB之间的交互。在此之前，并没有系统的了解过mongoDB，虽然知道我们用它来存储文件这些非结构化数据，但是，对于为什么用它存储文件类型的数据以及其存储原理还是不清楚的，甚至说连mongoDB是什么以及它的一...
分类：
数据库 时间：
2015-07-14 20:04:34
阅读次数：
151
