###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
问题导读：spark缓存是如何实现的？BlockManager与BlockManagerMaster的关系是什么？ 这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 defpersist（newLevel：StorageLevel）：this.type = { // Stora ...
分类：
其他好文 时间：
2020-05-27 15:59:00
阅读次数：
71
一.history对象 1.该对象下的三个函数一个属性 ,history.go(1)历史网页前前一页，history.go(0)对当前页面刷新，history.go(-1)网页后退 history.forword()网页前进，history.back()网页后退 history.length 当前网 ...
分类：
Web程序 时间：
2020-05-27 01:08:08
阅读次数：
94
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
在开发中经常会遇到在一个页面操作完返回上一个页面，此时要求上个页面展示最新数据的需求。 比如 A1为上一个页面，A2为当前页面 1.A1需要加监听历史记录点 window.onpopstate=function(){ // 获得存储在该历史记录点的json对象 var json=window.his ...
分类：
Web程序 时间：
2020-05-26 20:40:20
阅读次数：
376
C-a C-e C-f C-b M-f M-b C-y C-d M-d M-backspace向前剪切一个词 C-k C-u 剪切行首到光标 C-t M-t 交换两个单词 C-l 清屏 等同clear命令 Tab 自动补全 按两次显示列表 history | less 查看历史命令 ！20 输入第2 ...
分类：
系统相关 时间：
2020-05-26 20:35:16
阅读次数：
84
vue-router 基本使用 路由，其实就是指向的意思，当我点击页面上的home按钮时，页面中就要显示home的内容，如果点击页面上的about 按钮，页面中就要显示about 的内容。Home按钮 => home 内容， about按钮 => about 内容，也可以说是一种映射. 所以在页面上 ...
分类：
其他好文 时间：
2020-05-26 20:03:47
阅读次数：
50
shuffle 和 stage shuffle 是划分 DAG 中 stage 的标识,同时影响 Spark 执行速度的关键步骤. RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作.窄依赖跟宽依赖的区 ...
分类：
其他好文 时间：
2020-05-26 18:22:19
阅读次数：
71
100个js常用技巧大全 1.JS输出语句:document.write(“”)2.JS中的注释为://3.传统的HTML文档顺序是:document->html->(head,body)4.一个浏览器窗口中的DOM顺序是:window->(navigator,screen,history,loca ...
分类：
Web程序 时间：
2020-05-26 18:03:25
阅读次数：
90
