webworker计算md5实践及遇到的坑最近项目要实现大文件的分块上传及断点续传，其中文件的md5是判断文件或文件块是否已被上传的重要依据。1.阶段一编码初期，直接在公共方法中写了一个传入file返回md5的函数，供文件上传模块使用。关键代码如下：/***获取文件的md5*@param{*}file文件对象*/importSparkMD5from‘spark-md5‘exportasyncfun
分类：
Web程序 时间：
2020-07-24 23:48:21
阅读次数：
117
问题背景： 使用spark datasource v2 接口，外接存储源时，发现更改项目版本后，spark-shell报错 搜索该错误无果，网上报什么window util错，并不是我遇到的问题. error: not found: value spark Exception in thread " ...
分类：
编程语言 时间：
2020-07-24 15:52:06
阅读次数：
115
分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标。什么是分布式系统？一大批服务器组成一个集合，对于用户来说仍然是一个整体连贯系统。A.Tanenbaum定义：分布式网络的计算机中的组件之间协调动作是通过消息进行通讯。G.Coulou
分类：
其他好文 时间：
2020-07-24 13:30:07
阅读次数：
93
我们自己在项目测试过程中也应当积累一套自己的测试框架，所有功能性的测试都可以依据框架的思路来进行，达到事半功倍的效果，以下通用性测试用例可供后续项目参考使用：功能测试框架可以包括：界面友好性测试、功能测试、链接测试、容错测试、稳定性测试、常规性能测试、配置测试、算法测试等等。1.1.1界面友好性测试风格、样式、颜色是否协调界面布局是否整齐、协调（保证全部显示出来的，尽量不要使用滚动条）界面操作、标
分类：
其他好文 时间：
2020-07-21 22:04:03
阅读次数：
71
引用的jar包(maven) <properties> <java.version>1.8</java.version> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> <sharding-sphere.version>4.1.1</sh ...
分类：
编程语言 时间：
2020-07-21 21:58:23
阅读次数：
74
Spark基础入门 1、spark的核心概念 2、spark的四大特性 3、spark的整体架构 4、spark的集群安装部署 5、spark的集群的启动和停止 6、spark的集群web管理界面 7、spark-shell Driver 它会执行客户端写好的main方法，它会构建一个名叫Spark ...
分类：
其他好文 时间：
2020-07-21 09:31:03
阅读次数：
90
一.DStream的两类操作 DStream内部其实是RDD序列，所有的DStream操作最终都转换为RDD操作。通过分析源码，可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性： 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类：
其他好文 时间：
2020-07-20 13:13:18
阅读次数：
64
运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
Hystrix是一个用于处理分布式系统的延迟和容错的开源库，在分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等，Hystrix能够保证在一个依赖出问题的情况下，不会导致整个服务失败，避免级联故障，以提高分布式系统的弹性。 “断路器”本身是一种开关装置，当某个服务单元发生故障之后，通过断路 ...
分类：
其他好文 时间：
2020-07-19 23:45:02
阅读次数：
67
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类：
其他好文 时间：
2020-07-19 11:44:16
阅读次数：
62
