学习于大数据原理与应用 第十六章 Spark 学习指南 三、独立应用程序编程 2.Scala应用程序代码 cd ~ # 进入用户主文件夹 mkdir ./sparkapp # 创建应用程序根目录 mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构 vim ...
分类：
其他好文 时间：
2020-02-03 19:26:17
阅读次数：
78
1.下载地址 https://github.co/frida/frida/releases 2.另外两种安装方法 1.Install from prebuilt binaries This is the recommended way to get started. All you need to ...
分类：
其他好文 时间：
2020-02-03 12:16:01
阅读次数：
174
《人件》读后感 在老师的推荐下，我完整的读过了《人件》这本管理类书籍。整书有六篇三十章，策划人开篇就给出了一个疑问，20多年我们听说过很多软件英雄和编程奇才的故事，却没有产生一个有国际影响的软件品牌或有国际竞争力的民族软件企业，相比，印度的软件业崛起，产值10年增长了10倍，在经济发展上我们可能要领 ...
分类：
其他好文 时间：
2020-02-01 19:35:01
阅读次数：
90
记录我简单制作badusb的一个过程，可以直接在最下方的链接找到其他大佬badusb制作过程 ...
分类：
其他好文 时间：
2020-02-01 19:33:34
阅读次数：
99
一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 数据库：MySQL 三、实 ...
分类：
其他好文 时间：
2020-01-27 00:20:01
阅读次数：
277
调度系统: 1. oozie: 和hadoop、hive、spark有很强的版本依赖 ...
分类：
其他好文 时间：
2020-01-26 22:31:20
阅读次数：
91
一、运行速度方面： Spark把中间数据放到内存中，迭代运算效率高。 Hadoop MapReduce将计算结果保存到磁盘上，这样会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。 二、容错方面： Spark引进了弹性分布式数据集RDD ...
分类：
其他好文 时间：
2020-01-18 21:41:13
阅读次数：
106
紧接上一次。 这次是对于spark安装的总结。 首先便是下载spark。 从官网上可以找到用户提供Hadoop环境的安装包，另外值得一提的是用户也可以无需自己安装hadoop而是选择原装包括了hadoop的安装包。 放入虚拟机之后解压缩，修改权限，之后就可以开始配置了。 配置文件需要配置slaves ...
分类：
其他好文 时间：
2020-01-18 14:25:52
阅读次数：
82
原文摘自：https://www.jianshu.com/p/d48f854ead85 1.中断后LockSupport.park()直接返回 public class MultInterruptParkDemo { public static volatile boolean flag = tru ...
分类：
其他好文 时间：
2020-01-16 14:44:24
阅读次数：
127
