返回结构化数据 递归tree 获取总页数 分页试图函数 生成一个随机数，六位随机数，不到六位，前面补0 去除首尾空格和特殊符号 获取菜单函数 存储上传图片 ...
分类：
其他好文 时间：
2019-06-17 17:21:49
阅读次数：
73
首先，提及大数据一词的概念。大数据本质还在于数据，但是它有着新的特征亮点。包括：数据来源广，数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等等。扩展讲大数据的4个基本特征，我们将进行下面额思考：1.数据来源广？广泛的数据来源从何而来，通过何种方式进行采集与汇总？相对应的我们出现Sqoop，Cammel，Da
分类：
其他好文 时间：
2019-06-02 11:44:27
阅读次数：
123
https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全MaxCompute主要服务于批量结构化数据的存储和计算，可以
分类：
其他好文 时间：
2019-05-29 16:19:25
阅读次数：
169
好程序员大数据分享：Hbase精解，为什么有hbase?hbase是什么?Hbase的架构。 一、 为什么有hbase? 数据量越来越大，传统的关系型数据库不能满足存储和查询的需求。而hive虽然能满足存储的要求，但是hive不能满足非结构化、半结构化数据的存储和查询。 二、hbase是什么? hb ...
分类：
其他好文 时间：
2019-05-27 16:35:35
阅读次数：
109
1：Sqoop概述 1）官网 http://sqoop.apache.org/ 2）场景 传统型缺点，分布式存储。把传统型数据库数据迁移。 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 2：Sqoop安装部署 1 ...
分类：
其他好文 时间：
2019-05-26 00:22:46
阅读次数：
89
Protobuf是一种轻便高效的结构化数据存储格式，官方定义平台无关、语言无关、可扩展、可用于通讯协议和数据存储等领域。 它有以下优点： 1、平台无关，语言无关，可扩展； 2、他提供了友好的动态库，使用简单； 3、解析速度快。比对应的XML快20-100倍； 4、序列化数据非常简单、紧凑、与XHML ...
分类：
其他好文 时间：
2019-05-22 17:26:32
阅读次数：
154
SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎，使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理，提供的 DSL可以直接使用 scala 语言完成 Sql 查询，同时也使用? thriftserver 提供服务化的 Sql 查询功能。
分类：
数据库 时间：
2019-05-17 09:32:42
阅读次数：
200
1、文本文件与二进制文件的分辨 1）用文本编辑器打开不乱码的是文本文件，反之是二进制文件 2）二进制文件必须通过特定的应用程序才能打开和读取。 2、常见的文本文件格式 1）分隔格式（结构化数据） 2）JSON格式（半结构化数据） 3）HTML格式（非结构化数据） ...
分类：
其他好文 时间：
2019-05-11 21:47:02
阅读次数：
148
1.HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似 ...
分类：
其他好文 时间：
2019-05-10 23:31:47
阅读次数：
210
Bigdata：结构化数据：约束半结构化数据：非结构化数据：没有元数据；搜索引擎：搜索组件、索引组件蜘蛛程序：存储：分析处理：2003年：TheGoogleFileSystem2004年：MapReduce：SimplifiedDataProcessingOnLargeCluster2006年：BigTable：ADistributedStorageSystemforStructureDataHD
分类：
其他好文 时间：
2019-05-01 22:37:18
阅读次数：
206
