好用的python模块 可自动导入模块的pyforest 安装模块后，可以直接按配置文件中设置的需要调用的模块名称使用模块 设置 编辑 默认配置在 中 使用 jupyter 可以自动导入，其他环境需要手动导入 查看已自动导入的模块 ...
分类：
编程语言 时间：
2019-12-06 17:39:16
阅读次数：
121
spark submit 参数及其调优https://blog.csdn.net/guohecang/article/details/52088117 Spark配置参数详解 一.yarn模式下一个示例:./bin/spark-submit \ --master yarn-cluster \ --n ...
分类：
其他好文 时间：
2019-12-06 16:25:50
阅读次数：
103
<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version> </dependency> <depe ...
分类：
其他好文 时间：
2019-12-06 12:03:37
阅读次数：
268
1：软件是idea，在同一个包中，类名一样，会导致在调用类的时候，程序无法找到正确的类，最后出错。 2：return坑，在方法中，返回值的类型已经指定了，所以可以放心使用return，但是在函数中，没有指定返回值的类型，一旦使用return，scala就推断不出返回值的类型了，函数会将最后一行作为返 ...
分类：
其他好文 时间：
2019-12-05 19:12:32
阅读次数：
90
spark 各个版本的application 调度算法还是有这明显的不同之处的。从spark1.3.0 到 spark 1.6.1、spark2.x 到 现在最新的spark 3.x ，调度算法有了一定的修改。下面大家一起学习一下，最新的spark 版本spark-3.0的Application 调 ...
分类：
移动开发 时间：
2019-12-04 13:22:15
阅读次数：
118
在API前添加 [HttpPost] 表示只允许POST方式请求 [HttpPost] public IHttpActionResult Get_BIGDATA([FromBody]Datas Datas) { try { return Json(Datas.rid); } catch (Excep ...
Spark官网和下载地址 官网 http://spark.apache.org/ spark-2.2.0源码下载链接 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz spark-2.2.0安装包下载连接 http://... ...
分类：
其他好文 时间：
2019-12-03 18:09:14
阅读次数：
98
为什么要用SQL 1）事实上的标准 MySQL、Oacle、DB2、SQL Server都是用的SQL操作，DBA、运维人员使用SQL门槛比较低 2）易学易用 SQL对于不懂的人学习较容易 3）受众面广 无论做Java、.Net、Php都需要与数据库交互，都需要编写SQL Hive： 类似于SQL的... ...
分类：
数据库 时间：
2019-12-03 18:00:13
阅读次数：
92
【摘要】 华为云物联网平台提供的规则引擎包括数据转发和设备联动等多种能力，这些能力都要怎么使用？本文教您8招最常用的用法，带您玩转规则引擎。 规则引擎是华为云物联网平台提供的一种能力，用户对接入平台的设备设定相应的规则，在条件满足所设定的规则后，平台会触发相应的动作来满足用户需求。规则引擎包含数据转 ...
分类：
其他好文 时间：
2019-12-03 17:55:11
阅读次数：
229
import org.apache.spark.{SparkConf, SparkContext} object wc2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").s ...
分类：
其他好文 时间：
2019-12-03 15:30:38
阅读次数：
89
