Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
一、简介 在每个节点（driver和executor）上运行的管理器，该接口提供用于在本地和远程将block放置和检索到各种存储（内存，磁盘和堆外）的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类：
其他好文 时间：
2020-07-27 23:41:12
阅读次数：
73
【编程式导航】 我们希望在路由跳转之前执行某一些功能。。。 <template> <div id="app"> <h2>这是App.vue组件的标题</h2> <router-link to="/home"> 首页 </router-link> <br> <router-link to="/samp ...
分类：
其他好文 时间：
2020-07-26 22:49:12
阅读次数：
70
Spark SQL(6) OptimizedPlan 在这一步spark sql主要应用一些规则，优化生成的Resolved Plan，这一步涉及到的有Optimizer。 之前介绍在sparksession实例化的是会实例化sessionState，进而确定QueryExecution、Analy ...
分类：
数据库 时间：
2020-07-26 19:28:25
阅读次数：
101
PART 1: Atlantic Revolutions, 1750-1914 / Industrial Revolution / European Colonization 1759-1914 INTRODUCTION The scientific revolution was followed ...
分类：
其他好文 时间：
2020-07-26 16:00:26
阅读次数：
68
一.什么是机器学习？ 什么是机器学习？Herbert Sinmon给“学习”做出了这样的定义：“如果一个系统能够通过执行某个过程而改进性能，这就是学习。”更通俗的理解是：机器学习能够自动地从数据中学习“程序”，而这个程序不是人来编写的。 平面上有两类点，黄色代表类别a，蓝色代表类别b。这时我们希望能 ...
分类：
其他好文 时间：
2020-07-26 15:43:33
阅读次数：
56
webworker计算md5实践及遇到的坑最近项目要实现大文件的分块上传及断点续传，其中文件的md5是判断文件或文件块是否已被上传的重要依据。1.阶段一编码初期，直接在公共方法中写了一个传入file返回md5的函数，供文件上传模块使用。关键代码如下：/***获取文件的md5*@param{*}file文件对象*/importSparkMD5from‘spark-md5‘exportasyncfun
分类：
Web程序 时间：
2020-07-24 23:48:21
阅读次数：
117
问题背景： 使用spark datasource v2 接口，外接存储源时，发现更改项目版本后，spark-shell报错 搜索该错误无果，网上报什么window util错，并不是我遇到的问题. error: not found: value spark Exception in thread " ...
分类：
编程语言 时间：
2020-07-24 15:52:06
阅读次数：
115
直观区别：hash模式url带#号，history模式不带#号。 深层区别：hash模式url里面永远带着#号，我们在开发当中默认使用这个模式。 如果用户考虑url的规范那么就需要使用history模式，因为history模式没有#号，是个正常的url适合推广宣传功能也有区别，比如我们在开发app的 ...
分类：
其他好文 时间：
2020-07-23 22:19:08
阅读次数：
57
引用的jar包(maven) <properties> <java.version>1.8</java.version> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> <sharding-sphere.version>4.1.1</sh ...
分类：
编程语言 时间：
2020-07-21 21:58:23
阅读次数：
74
