概述 传统的关系型数据库以及数据仓库在面对大数据的处理时显得越来越力不从心。因为关系数据库管理系统 (RDBMS)的设计从未考虑过能够处理日益增长且格式多变的数据，以及访问数据并进行分析的用户需求呈爆炸式增长的势头。它们一般都是固定的schema，缺乏对非结构化数据的支持，同时对数据分片存储、系统扩 ...
分类：
数据库 时间：
2018-06-19 00:48:19
阅读次数：
198
转自：https://www.cnblogs.com/autyinjing/p/6495103.html 一、Protobuf？ 1. 是什么？ Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式，平台无关、语言无关、可扩展，可用于通讯协议和数据 ...
分类：
其他好文 时间：
2018-06-15 20:02:56
阅读次数：
200
数据库介绍： 按着一定的数据结构，实现数据的存储和管理的数据仓库； 常见的数据库类型有： 关系型数据库：同过关系模型来存储数据，关系模型是二维表关系结构模型 如mysql oracle 非关系型数据库：是指nosql 是大量结构化数据存储方式的集合 sql一种数据管理接口： 事物：一次数据的操作，它 ...
分类：
数据库 时间：
2018-06-11 13:51:11
阅读次数：
190
1. HBase框架简单介绍 HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键 ...
分类：
其他好文 时间：
2018-06-09 19:43:22
阅读次数：
209
页面解析和数据提取 一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据 和 结构化的数据。 非结构化数据：先有数据，再有结构， 结构化数据：先有结构、再有数据 不同类型的数据，我们需要采用不同的方式来处理。 非结构化的数据处理 正则表达式 ...
分类：
其他好文 时间：
2018-06-05 23:26:57
阅读次数：
298
一、SolrJ介绍 1. SolrJ是什么？ Solr提供的用于JAVA应用中访问solr服务API的客户端jar。在我们的应用中引入solrj： 2. SolrJ的核心API SolrClient SolrRequest SolrResponse 3. SolrClient 的子类 HttpSol ...
分类：
Windows程序 时间：
2018-06-03 16:25:03
阅读次数：
1709
Hive简介：Hive是一个基于Hadoop的数据仓库，可以将结构化数据映射成一张表，并提供类SQL的功能，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层，设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据，2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整的SQL功能（本质是将SQL转换为
分类：
其他好文 时间：
2018-06-03 01:00:19
阅读次数：
140
一 简介 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 官方下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 1. Sqoop是什么 Sqoop：SQL- ...
分类：
其他好文 时间：
2018-06-03 00:58:46
阅读次数：
168
一 概念 Pandas是一个开源的Python数据分析库。Pandas把结构化数据分为了三类： Series，1维序列，可视作为没有column名的、只有一个column的DataFrame； DataFrame，同Spark SQL中的DataFrame一样，其概念来自于R语言，为多column并... ...
分类：
其他好文 时间：
2018-06-02 11:18:57
阅读次数：
168
前言：Hive可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。在学习Hive之前我们先了解下结构化数据，半结构化数据以及非结构化数据的区别。1.结构化数据结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：idnameagegender1lyh12male2liangy
分类：
其他好文 时间：
2018-06-01 17:36:44
阅读次数：
169
