目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。 其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。 Apache Hudi是由Uber的工程师为满足其内部数据 ...
分类：
其他好文 时间：
2020-06-05 14:44:10
阅读次数：
362
web最精妙的设计就是通过url把多个页面串联起来，并且可以互相跳转。我们开发系统的时候总是需要使用路由来实现页面间的跳转。传统的web开发主要是使用a标签或者是服务端redirect来跳转。那今天来看看Blazor是如何进行路由的。 使用@page指定组件的路由path 我们可以在Blazor里给 ...
分类：
Web程序 时间：
2020-06-05 09:11:06
阅读次数：
95
今天晚上，我们老师给我们布置了一个任务，用spark读取一些json数据，然后做一些数据分析的任务 我以为重头戏是数据分析的部分，没想到自己被读取json数据拦了1个多小时，写篇博客记录下 orz 常规的读取数据： val userInfo = spark.read.format("json"). ...
分类：
Web程序 时间：
2020-06-04 21:21:41
阅读次数：
129
因为大部分情况下都是使用hash模式，因此很少关心History的使用。 最近再次意识熟悉后端才能全面理解项目，于是开始一些相关性研究。下面是History后端服务代码，使用了express框架。使用了ejs模板引擎解析HTML文件。 const http = require('http'); co ...
分类：
其他好文 时间：
2020-06-04 20:09:49
阅读次数：
159
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc ...
分类：
其他好文 时间：
2020-06-04 10:38:09
阅读次数：
76
核心：更新视图不重新请求页面。 路由的hash模式和history模式。 看上去，hash模式就比history模式多了一个#。无论是hash模式还是history模式，在发生改变的时候，浏览器都会新增一个记录，我们就是通过这个记录来实现更新视图但是重新请求页面。 hash("#") 的作用是加载 ...
分类：
其他好文 时间：
2020-06-04 01:45:19
阅读次数：
75
1.java编译报错 错误 Error: A JNI error has occurred, please check your installation and try again 👆下面还有其他报错但我没有截到，但问题的原因都是这个👆 这个错误一般情况是由于java 版本 与javac 版本 ...
分类：
其他好文 时间：
2020-06-04 01:04:18
阅读次数：
78
生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快，易用，兼容性强 体系架构 主节点：C ...
分类：
数据库 时间：
2020-06-03 20:48:29
阅读次数：
89
 