背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
kafka分区，excutor，task，RDD分区的关系： 数据的流：数据流向从kafka>sparkStreaming>RDD 1 kafka中的 topic 的 patition 分区的设置，kafka 的 partition 分区数 ，sparkStreaming 直连方式从kafka中拉数 ...
分类：
其他好文 时间：
2020-03-20 12:30:57
阅读次数：
108
在window下通过idea开发，在代码中需要spark，使用loacl模式，生成一些数据存放到hive中，使用的也是spark自带的hive库。在idea运行时报错：Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionState‘:java.lang.RuntimeException:Therootscratc
分类：
其他好文 时间：
2020-03-20 11:05:34
阅读次数：
59
1. scala 编程虽然类似于 python ,但也严格遵守Java的相关准则 .如导入类 , 依赖等 .并且可通用类库 . 其最好用的一点事对数据的类型转换更方便 结果是3600 , 转无数次也一样 ,虽然没必要 .但是在数据编程方面 , 会更方便. 这也是为什么Spark是用scala 开发. ...
分类：
其他好文 时间：
2020-03-20 09:13:28
阅读次数：
60
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类：
其他好文 时间：
2020-03-18 11:45:06
阅读次数：
53
1. DataFrame 本片将介绍Spark RDD的限制以及DataFrame（DF）如何克服这些限制，从如何创建DataFrame，到DF的各种特性，以及如何优化执行计划。最后还会介绍DF有哪些限制。 2. 什么是 Spark SQL DataFrame? 从Spark1.3.0版本开始，DF ...
分类：
其他好文 时间：
2020-03-16 12:56:06
阅读次数：
95
配置内核参数后重启生效# echo 'vm.swappiness=10'>> /etc/sysctl.conf 安装JDK8# rpm -ivh jdk-8u211-linux-x64.rpm # vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_ ...
分类：
其他好文 时间：
2020-03-15 22:11:33
阅读次数：
76
1.使用foreach碰到了问题 没看过累加器的时候，写了这么个代码，发现map里头foreach完了还是0啊？咋回事啊？ 1 def calNrOfEachDataMap(data:RDD[String],neededDataMap:Set[Map[Int,String]]): Map[Map[I ...
分类：
其他好文 时间：
2020-03-15 10:10:54
阅读次数：
163
[toc] 使用 或`concat_ws() `SQL函数，可以将一个或多个列连接到Spark DataFrame上的单个列中。在文本中，将学习如何使用这些函数，还可以使用原始SQL通过Scala示例来连接列。 Preparing Data & DataFrame 注意，我们需要导入spark对象上 ...
分类：
其他好文 时间：
2020-03-14 23:54:22
阅读次数：
61
