spark实现UserCF package cf import breeze.numerics.{pow, sqrt} import org.apache.spark.sql.SparkSession object UserCF { def main(args: Array[String]): Un ...
分类：
其他好文 时间：
2020-04-23 01:08:59
阅读次数：
146
客户端利用axios自己封装了一个request,文件名为http.js import axios from 'axios'; import history from './history'; export const baseUrl = '/api'; const request = axios; ...
分类：
移动开发 时间：
2020-04-23 01:02:43
阅读次数：
98
js的规范DOM 是一套操作页面的APIBOM 是一套操作浏览器页面的APIWindow navigator screen history locationwindow对象:浏览器窗口特点:1.对于全局变量或者全局方法，在取值或者调用的时候，可以省略2.window对象时js中的顶级对象(所有的全局 ...
分类：
Web程序 时间：
2020-04-22 20:13:56
阅读次数：
104
升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 ...
分类：
其他好文 时间：
2020-04-22 13:33:45
阅读次数：
98
终端，附着在终端的接口程序：GUI：KDE，GNome，XfceCLI：/etc/shellsbash的特性：命令行展开：~，{}命令别名：alisa，unalisa命令历史：history文件名通配：glob快捷键：Ctrl+a,e,u,k,l命令补全：$PATH路径补全：bash特性之命令hash缓存此前的查找结果：key-valuekey：搜索键value：值hash命令hash：列出has
分类：
系统相关 时间：
2020-04-22 11:32:52
阅读次数：
112
import java.sql.{DriverManager, PreparedStatement} import java.time.LocalDateTime import java.time.format.DateTimeFormatter import org.apache.spark.rd ...
分类：
数据库 时间：
2020-04-22 10:24:45
阅读次数：
83
import java.sql.DriverManager import java.time.{LocalDateTime, ZoneOffset} import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, Spa ...
分类：
数据库 时间：
2020-04-22 10:13:02
阅读次数：
86
import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} /** * RDD转DataFra ...
分类：
其他好文 时间：
2020-04-22 10:11:22
阅读次数：
67
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类：
其他好文 时间：
2020-04-22 09:16:07
阅读次数：
55
1】Receiver是使用高层次的consumer Api来实现的。 receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息 然而，默认情况下，这种方式会因为底层的失败丢失数据。 如果要启用高可靠机制，让数据零丢失，就必须启用spark st ...
分类：
其他好文 时间：
2020-04-20 11:59:44
阅读次数：
64
