spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型,窄依赖和宽依赖。 窄依赖(narrow dependency):是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类:
其他好文 时间:
2021-06-22 18:39:47
阅读次数:
0
项目当中遇到一些问题,需要排查所有的依赖的license信息,需要将所有的依赖的license信息都列出来,由于依赖的继承和传递关系,依赖的数量非常庞大,因此手工来完成这个任务是不太现实,好在已经有很好的开源工具实现了这个功能. java项目 修改gradle的配置,安装插件Gradle-Licen ...
分类:
其他好文 时间:
2021-06-22 18:37:36
阅读次数:
0
通过爬取豆瓣的电影排行榜 import requests url = "https://movie.douban.com/j/chart/top_list" #params是get请求带参数 #data是post请求带参数 #重新进行封装参数 param = { "type":"24", "inte ...
分类:
编程语言 时间:
2021-06-22 18:36:49
阅读次数:
0
cookie: cookie由服务器生成,保存在客户端浏览器,是一个文件。 容量小,单个cookie保存的数据不能超过4k 容易被劫持,不安全 可以被用户禁止 session: session存储在服务器端,没有数据量限制 session可以放在文件、数据库、内存等中 session大多数都是用co ...
分类:
其他好文 时间:
2021-06-22 18:35:10
阅读次数:
0
前端UI框架介绍 Bootstrap 使用世界上最流行的前端组件库在web上构建响应性、移动优先的项目。 网址:http://getbootstrap.com/ amaze UI HTML5 跨屏前端框架,为移动而生,组件丰富,模块化,本地化支持,轻量级,高性能 网址:http://amazeui. ...
分类:
其他好文 时间:
2021-06-22 18:32:50
阅读次数:
0
EasyCVR安防视频云服务经过不断的研发与细化,已经增加了很多新功能和操作方式,比如用户管理、设备分组、告警查询等,都是方便用户、完善平台管理的一些功能。EasyCVR支持与第三方平台的对接,用户可以将目前已有的平台与EasyCVR形成级联关系,并获取EasyCVR的所有能力。 ...
分类:
其他好文 时间:
2021-06-22 18:24:10
阅读次数:
0
第二阶段完成情况总结 梁鹏波 : 完善可视化页面(完成20%)牛振鹏 : 前端页面的优化(完成35%)马玉凯 : 服务器的部署(45%) ...
分类:
其他好文 时间:
2021-06-22 18:18:27
阅读次数:
0
服务器svn重新生成--Git clone 1588 svn info 1589 cd .. 1590 rm rules -fr 1591 ls 1592 svn up 1593 svn co http://svn.xxxxx.com/xxxxx/uledeploy_doc/prometheus/r ...
分类:
其他好文 时间:
2021-06-22 18:16:56
阅读次数:
0
本文主要介绍了文件上传功能,包括普通上传模式和大文件切片上传模式,大文件切片上传模式通过优化后很容易支持断点续传和秒传,后续会根据需求优化文件上传功能。 ...
MySQL的安装与配置、数据库的创建、数据表的创建、数据类型和运算符、MySQL函数、查询数据、数据表的操作(插入、更新与删除数据)、索引、存储过程和函数、视图、触发器、用户管理、数据备份与恢复、日志以及性能优化等。最后通过两个综合案例的数据库设计,进一步讲述MySQL在实际工作中的应用。 获取: ...
分类:
数据库 时间:
2021-06-22 18:07:01
阅读次数:
0