昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4） <?xml version="1.0" ...
分类：
其他好文 时间：
2020-02-06 01:23:10
阅读次数：
63
安装好了IntelliJ IDEA，但是很多东西还没有配置好，明天再更新。 下载IntelliJ IDEA并解压； 运行bin目录下的idea.sh文件； 勾选同意； 勾选不发送； 勾选免费试用版； ...
分类：
其他好文 时间：
2020-02-05 23:40:31
阅读次数：
98
今天主要完成了北京市政百姓信件分析实战。 Spark方面只是安装了Flume，以及尝试使用套接字流作为DSteam的数据源。 启动NetCat作为套接字的监听模式，这样在端口9999就能和spark互联。 值得一提，nc -l 9999 虽然也是适用的，-k是为了可以保持多个连接，所以应该还是必要的 ...
分类：
其他好文 时间：
2020-02-05 23:29:47
阅读次数：
86
今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
5.sc.textFiles() 与 sc.wholeTextFiles() 的区别 sc.textFile()是将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式,文件的每一行 相当于 列表 的一个元素，因此可以在每个partition中用for i in data的形式遍历处理 ...
分类：
其他好文 时间：
2020-02-05 18:20:06
阅读次数：
457
今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
今天进行了Spark的安装。 1.1 下载安装包进入Scala下载页面，下拉，找到tgz包 右击，复制链接如下https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz在master的命令行中输入：wget https://down ...
分类：
其他好文 时间：
2020-02-05 00:00:07
阅读次数：
97
1. SparkSql如何自定义函数 2. 示例：Average 3. 类型安全的自定义函数 1. SparkSql如何自定义函数？ spark中我们定义一个函数，需要继承 UserDefinedAggregateFunction这个抽象类，实现这个抽象类中所定义的方法，这是一个模板设计模式？ 我只 ...
分类：
数据库 时间：
2020-02-04 23:50:06
阅读次数：
115
我今天学习了spark sql Spark SQL可以很好地支持SQL查询，一方面，可以编写Spark应用程序使用SQL语句进行数据查询，另一方面，也可以使用标准的数据库连接器（比如JDBC或ODBC）连接Spark进行SQL查询，这样，一些市场上现有的商业智能工具（比如Tableau）就可以很好地 ...
分类：
其他好文 时间：
2020-02-04 23:28:25
阅读次数：
81
一、大数据spark spark环境在昨天已经全部搭建成功了 跟着b站的尚硅谷大数据往后学习了6个知识点，视频号：av62992342 学习了关于RDD的一系列知识。 课程学习进度：20/126 二、《一线架构师实践指南》阅读 阅读了第四章 需求结构化与分析约束影响 ...
分类：
其他好文 时间：
2020-02-04 23:22:57
阅读次数：
79
