一.官网位置1.位置2.解释官网位置DataSet1.6出现的SchemaRDD<1.31.3版本前叫SchemaRDD1.3以后叫DataFrameDataSet支持Scala,JAVA不支持pythonDataFrame支持四种JAVA,Scala.Python,RDataFrame:并不是sparksql独创的，原来就有的，从其他框架借鉴过来的二.DataFrame注意事项1.注意分布
分类：
数据库 时间：
2020-01-05 09:39:35
阅读次数：
76
使用kafka和sparkstreaming整合时，IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1"，初步看是版本不兼容，但是版本后面确认没有问题， ...
分类：
移动开发 时间：
2020-01-05 09:29:41
阅读次数：
291
所谓的多线程就像小吃街卖铜锅米线的老板，老板就好比一个操作系统，如果5个顾客同时去买米线，那么，此时老板就会同时准备好5个铜锅，然后同时放上水、调料、米线，同时煮5个人的米线，如果逐个煮的话，那么估计煮了2个人的米线，后面3人就来找老板退款了。 官方解释：多线程(英语:multithreading) ...
分类：
编程语言 时间：
2020-01-04 18:34:49
阅读次数：
69
记录Java容器中的常见概念和原理 参考： https://github.com/wangzhiwubigdata/God Of BigData %E4%B8%89Java%E5%B9%B6%E5%8F%91%E5%AE%B9%E5%99%A8 https://blog.csdn.net/justl ...
分类：
编程语言 时间：
2020-01-04 18:04:40
阅读次数：
70
引子有人在某个专注SQL的公众号留言如下：这个留言触碰到一个非常敏感的问题：搞关系型数据库还有前途吗？现在都2020年了，区块链正火热，AI人才已经“过剩”，大数据都成了稀松平常的萝卜白菜，你却还在搞SQLServer?你还在搞SQL?原因最近10年，数据管理领域的变化可谓精彩纷呈。什么Hadoop,Spark，MemcacheDB,Redis,Vertica,HANA,Cassandra,Mon
分类：
数据库 时间：
2020-01-04 16:59:14
阅读次数：
113
本文详细的介绍了Hadoop的Yarn架构与原理分析
分类：
其他好文 时间：
2020-01-03 19:39:26
阅读次数：
84
spark-streaming对接kafka有两种方式：1.基于receiver的方式，属于高级API，简单但是效率低，容易丢失数据（可以设置WAL）。它的原理是：receiver从kafka拉取数据存储到executor的内存中，spark-streaming启动job处理数据。偏移量保存在zoo ...
分类：
其他好文 时间：
2020-01-03 14:07:49
阅读次数：
84
1、安装准备：[root@master flink-dist]# mvn --versionApache Maven 3.2.5 [root@master flink-dist]# scala -versionScala code runner version 2.12.6 --[root@mast ...
分类：
其他好文 时间：
2020-01-01 15:19:20
阅读次数：
93
面试公司: 一家中小型电商 面试中的问题: 思路不要太跳跃性, 不然容易尬。 引导的时候脑子需要快速运转该说什么。 自己熟的那块一定要准备充分答出百分之80以上。 排序算法, 选一个说: 建议快排, 归并, 面试前手写一下找找感觉。 挖坑桶排: 需要对难点做准备: 按照什么条件分桶? 空间利用率的优 ...
分类：
其他好文 时间：
2019-12-31 20:08:27
阅读次数：
108
配置免密度登录 执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车， 生成的密钥对 id_rsa， id_rsa.pub，默认存储在~/.ssh 目录下 现在给slave1节点设置公钥 执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车， 生成的密钥对 i ...
分类：
其他好文 时间：
2019-12-31 19:01:20
阅读次数：
105
