百度地图引入首先要申请ak哈。这个网上很多东西。 自己遇到的是一个警告，看到控制台有东西就不爽，强迫症，看图： <script src="http://api.map.baidu.com/api?v=2.0&ak=bUqWGO221Psm3MKPP3a7dKW7SepaA"></script> 反正 ...
分类：
其他好文 时间：
2020-03-31 18:46:12
阅读次数：
416
# 使用SparkSQL编写wordCount的词频统计 ## word.txt```hello hello scala sparkjava sql html java hellojack jack tom tom you he he sql``` ## spark 代码：```objec ...
分类：
数据库 时间：
2020-03-30 21:50:35
阅读次数：
213
我们已经在CentOS7中安装了spark，本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类：
其他好文 时间：
2020-03-30 00:07:08
阅读次数：
103
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
与Scala语言相比，Python有其独特的优势和广泛的应用，python调用接口,因此Spark也推出了PySpark，它在框架上提供了一个使用Python语言的接口，python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类：
编程语言 时间：
2020-03-29 01:41:51
阅读次数：
92
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
一、为什么用这个标题 标题中的Chinglish并不是为了装逼，而是为了更加原汁原味的表达这个问题的出现场景，这个说法来自gcc的提示：gcc-4.4.7\gcc\cp\parser.cstatic boolcp_parser_optional_template_keyword (cp_parser ...
分类：
其他好文 时间：
2020-03-27 21:26:07
阅读次数：
60
需求分析: 利用爬虫获取网易云音乐歌曲的歌词，效果如下： 分析:通过官方的歌词API获取歌词，例如:访问 "https://music.163.com/ /song?id=1417093533" 则会跳转到关于这首歌的详情页，界面如下 这里需要调用一个获取歌词的接口 链接： "http://musi ...
分类：
其他好文 时间：
2020-03-27 19:50:49
阅读次数：
96
1.安装包 需要安装express-session的包，还有cookie-parser npm install express-session npm install cookie-parser 2.引入包 var express=require("express") var app=express ...
分类：
其他好文 时间：
2020-03-27 10:37:40
阅读次数：
82
1、代码块：代码块里面，最后一哥代码块表达式的值，就是我们的返回值 2、1）for (j <- 表达式/数组、集合) 2）1 to 2 结果 1,2 3） 1 until 2 结果 1 4) scala中没有运算符，+，-，*只是一种方法 5）如果想把for循环的值返回去，需要关键字yield 返回 ...
分类：
其他好文 时间：
2020-03-27 00:43:07
阅读次数：
77
