1、redis简介 redis是一个远程内存数据库，是一个速度非常快的非关系数据库(也叫NoSQL数据库)。redis不储存表，储存的是key与五种不同类型的值之间的映射。redis可以将存储在内存的键值对数据持久化到硬盘，因此它不仅可以作为辅助数据库，也可以作为主数据库。存储数据可以存两份，数据库 ...
webworker计算md5实践及遇到的坑最近项目要实现大文件的分块上传及断点续传，其中文件的md5是判断文件或文件块是否已被上传的重要依据。1.阶段一编码初期，直接在公共方法中写了一个传入file返回md5的函数，供文件上传模块使用。关键代码如下：/***获取文件的md5*@param{*}file文件对象*/importSparkMD5from‘spark-md5‘exportasyncfun
分类：
Web程序 时间：
2020-07-24 23:48:21
阅读次数：
117
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false， 这样默认的输出就是非压缩的纯 ...
分类：
其他好文 时间：
2020-07-24 21:30:31
阅读次数：
69
时间格式转换 日期格式→Unix时间戳 转10位Unix时间戳 数据：2020-07-23 15:01:13 Presto：select to_unixtime(cast('2020-07-23 15:01:13' as timestamp)) Hive：select unix_timestamp( ...
分类：
其他好文 时间：
2020-07-24 16:10:55
阅读次数：
181
问题背景： 使用spark datasource v2 接口，外接存储源时，发现更改项目版本后，spark-shell报错 搜索该错误无果，网上报什么window util错，并不是我遇到的问题. error: not found: value spark Exception in thread " ...
分类：
编程语言 时间：
2020-07-24 15:52:06
阅读次数：
115
NoSQL 有分很多种，其中key-value NoSQL (Redis, MemcacheD, etc) 的选用相对比较清楚些，大多是当后端Data storage的cache层来用。这篇主要想请教Column Family NoSQL (e.g. Cassandra, Hbase) 和SQL之间 ...
分类：
数据库 时间：
2020-07-24 15:31:56
阅读次数：
77
SQL SQL（structured query language）是一种领域特定语言（DSL，domain-specific language），用于管理关系型数据库（relational database management system，RDBMS）。 SQL主要有4种类别 DDL Data ...
分类：
数据库 时间：
2020-07-24 15:24:48
阅读次数：
81
分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标。什么是分布式系统？一大批服务器组成一个集合，对于用户来说仍然是一个整体连贯系统。A.Tanenbaum定义：分布式网络的计算机中的组件之间协调动作是通过消息进行通讯。G.Coulou
分类：
其他好文 时间：
2020-07-24 13:30:07
阅读次数：
93
数据库： 本质上就是一个文件系统，通过标准的sql语句对数据进行增删改查(curd)操作 数据库类型： 关系型数据库： 存放实体与实体间关系的数据库，本质上为二维表（mysql、oracle、sql server、DB2） 非关系型数据库： 存放的是对象（redis、No-sql、Hbase、Mon ...
分类：
数据库 时间：
2020-07-24 09:27:08
阅读次数：
94
自己学习Hadoop时，整理的资料，方便以后查看，希望能帮到大家，有什么问题欢迎大家指出 一、Hadoop是什么？其核心又是什么？ Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类：
其他好文 时间：
2020-07-23 22:35:14
阅读次数：
65
