本文参考 在阅读了《Spark快速大数据分析》动物书后，大概了解到了spark常用的api，不过书中并没有给予所有api详细的案例，而且现在spark的最新版本已经上升到了2.4.5，动物书中的spark版本还停留在1.2.0版本，所以就有了这篇文章，在最新的2.4.5版本下测试常用的api 由于s... ...
#!/bin/bash if [ `whoami` != oracle ];then echo 'please Use oracle user perform script' exit 1 fi read -p "please input your database Name:" dbname # ...
分类：
数据库 时间：
2020-03-21 21:35:59
阅读次数：
78
背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
原文链接： https://www.toutiao.com/i6771018203687551495/ Hive的连接 启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位 首先将Hive变成对外开放 启动hiveserver2 我们查看下 如果杀掉需要用kill -9 P ...
分类：
其他好文 时间：
2020-03-20 23:57:01
阅读次数：
114
十、histroy 属性 Router组件的history属性，用来监听浏览器地址栏的变化，并将URL解析成一个地址对象，供 React Router 匹配。 history属性，一共可以设置三种值。 browserHistory hashHistory createMemoryHistory 如果 ...
分类：
其他好文 时间：
2020-03-20 13:14:53
阅读次数：
71
kafka分区，excutor，task，RDD分区的关系： 数据的流：数据流向从kafka>sparkStreaming>RDD 1 kafka中的 topic 的 patition 分区的设置，kafka 的 partition 分区数 ，sparkStreaming 直连方式从kafka中拉数 ...
分类：
其他好文 时间：
2020-03-20 12:30:57
阅读次数：
108
在window下通过idea开发，在代码中需要spark，使用loacl模式，生成一些数据存放到hive中，使用的也是spark自带的hive库。在idea运行时报错：Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionState‘:java.lang.RuntimeException:Therootscratc
分类：
其他好文 时间：
2020-03-20 11:05:34
阅读次数：
59
1. scala 编程虽然类似于 python ,但也严格遵守Java的相关准则 .如导入类 , 依赖等 .并且可通用类库 . 其最好用的一点事对数据的类型转换更方便 结果是3600 , 转无数次也一样 ,虽然没必要 .但是在数据编程方面 , 会更方便. 这也是为什么Spark是用scala 开发. ...
分类：
其他好文 时间：
2020-03-20 09:13:28
阅读次数：
60
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类：
其他好文 时间：
2020-03-18 11:45:06
阅读次数：
53
