视频地址 https://www.bilibili.com/video/av44375469?p=5 脑图路径 https://naotu.baidu.com/home/08be5dae399427517136cd8ac0ca8729 ...
分类：
编程语言 时间：
2020-02-06 15:02:39
阅读次数：
68
今天完成了实验任务四-RDD编程初级实践，先在网上查了一下资料。 Spark大数据处理的核心是RDD,RDD的全称为弹性分布式数据集，对数据的操作主要涉及RDD的创建、转换以及行动等操作，在Spark系列(二)中主要介绍了RDD根据SparkContext的textFile创建RDD的方法，本小节将 ...
分类：
其他好文 时间：
2020-02-06 14:52:42
阅读次数：
65
今天主要进行了spark实验六的学习，Spark Streaming 编程初级实践 Flume 是非常流行的日志采集系统，可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型，从终端上不断给 Flume Source 发送各种消息，Flu ...
分类：
其他好文 时间：
2020-02-06 14:42:22
阅读次数：
107
环境搭建 big data env setup 读写ES spark 怎么读写 elasticsearch Spark 上time series 处理 Flint by Two Sigma ...
分类：
其他好文 时间：
2020-02-06 14:39:30
阅读次数：
66
Apache Spark 是一个快速的、多用途的集群计算系统。在 Java，Scala，Python 和 R 语言以及一个支持常见的图计算的经过优化的引擎中提供了高级 API。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图形处... ...
分类：
其他好文 时间：
2020-02-06 12:48:11
阅读次数：
76
Spark on K8S环境部署细节sparkk8stime: 2020-1-3Spark on K8S环境部署细节Spark operator安装准备kubectl客户端和Helm客户端安装spark operatorSpark wordcount 读写OSS准备oss依赖的jar包准备core-... ...
分类：
其他好文 时间：
2020-02-06 10:58:31
阅读次数：
136
昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4） <?xml version="1.0" ...
分类：
其他好文 时间：
2020-02-06 01:23:10
阅读次数：
63
安装好了IntelliJ IDEA，但是很多东西还没有配置好，明天再更新。 下载IntelliJ IDEA并解压； 运行bin目录下的idea.sh文件； 勾选同意； 勾选不发送； 勾选免费试用版； ...
分类：
其他好文 时间：
2020-02-05 23:40:31
阅读次数：
98
今天在如下网址中找到了Scala的安装教程。 链接： https://www.runoob.com/scala/scala-install.html 跟着上面的安装步骤，在上学期已经安装过的虚拟机上成功安装了Scala。并且在菜鸟教程上了解了Scala的最基本的知识如基本语法、数据类型、字符串等等。 ...
分类：
其他好文 时间：
2020-02-05 23:39:17
阅读次数：
63
今天主要完成了北京市政百姓信件分析实战。 Spark方面只是安装了Flume，以及尝试使用套接字流作为DSteam的数据源。 启动NetCat作为套接字的监听模式，这样在端口9999就能和spark互联。 值得一提，nc -l 9999 虽然也是适用的，-k是为了可以保持多个连接，所以应该还是必要的 ...
分类：
其他好文 时间：
2020-02-05 23:29:47
阅读次数：
86
