前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传 ...
分类：
其他好文 时间：
2020-11-30 16:09:25
阅读次数：
9
###Spark中的UDF Spark1.6只能创建临时UDF，不支持创建持久化的UDF。 从Spark-2.0开始，SparkSQL支持持久化的UDF，目前看来是支持UDAF ###Spark中的UDF 过程 (1)自定义UDF类，实现UDF1/2/3....22中的接口之一，其中UDF后跟的数字 ...
分类：
其他好文 时间：
2020-11-26 15:06:55
阅读次数：
6
Freeswitch官网太慢了，经常还打不开，把电话挂断原因大全复制一份到这里，方便日常查看 ITU-T Q.850 Code SIP Equiv. Enumeration Cause Description ITU-T Q.850 Code SIP Equiv. Enumeration Cause ...
分类：
其他好文 时间：
2020-11-23 12:49:07
阅读次数：
53
最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S... ...
分类：
其他好文 时间：
2020-11-23 12:25:04
阅读次数：
5
# abc的类型为tbl_spark class(abc) #"tbl_spark" #列名 colnames(abc) #行数 abc %>% count() # 把abc转为data frame a <- data.frame(abc) class(a) #"data.frame" #行列数 d ...
分类：
其他好文 时间：
2020-11-21 12:35:33
阅读次数：
5
1.从控制台输入： 另外还有很多中方法供选择 2.从文件中输入 2.1绝对路径 2.2相对路径：一定要注意i相对路径是相对于整个项目project的路径而不是module 注意最后一定要把Source关闭 2.文件的输出 3.网络的交互 1 package com.me.scala 2 3 impo ...
分类：
其他好文 时间：
2020-11-21 12:14:30
阅读次数：
7
HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。它基于Google Bigtable开源实现，但二者有明显的区别：Google Bigtable基于GFS存储，通过MAPREDUCE处理存储的数据，通过chubby处理协同服务；而HB... ...
分类：
其他好文 时间：
2020-11-20 12:05:39
阅读次数：
11
Spark Streaming处理流程中，遇到某些批次耗时长的问题，排查思路
分类：
其他好文 时间：
2020-11-18 13:12:54
阅读次数：
8
package com.atguigu.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org ...
分类：
其他好文 时间：
2020-11-16 13:25:07
阅读次数：
3
@GetMapping("/selectIp") public HashMap<String, String> selectIp() { String ipHostAddress = ""; try { Enumeration<NetworkInterface> allNetInterfaces = ...
分类：
编程语言 时间：
2020-11-16 13:09:14
阅读次数：
9
