1.前言背景 没怎么用过df.where 都是直接使用loc、apply等方法去解决。 可能是某些功能还没有超出loc和apply的适用范围。 2.进入df.where和df.mask note:Replace values in DataFrame with other where the con ...
分类：
其他好文 时间：
2019-11-01 16:00:59
阅读次数：
474
Spark是用于大规模数据处理的快速通用的计算引擎。 相较MR快的原因：其任务中间结果存在内存中，在迭代运算中尤为明显，DAG的设置。 架构说明： Dirver：负责节点通讯，task分发，结果回收 Worker：资源管理的从节点 Master：资源调度的主节点 Dirver：负责节点通讯，task ...
分类：
其他好文 时间：
2019-11-01 10:00:23
阅读次数：
98
SparkSQL采用Spark on Hive模式，hive只负责数据存储，Spark负责对sql命令解析执行。
SparkSQL基于Dataset实现，Dataset是一个分布式数据容器，Dataset中同时存储原始数据和元数据(schema) ...
分类：
数据库 时间：
2019-11-01 09:24:31
阅读次数：
82
0)摘要 主要介绍了Spark Streaming整合Kafka，两种整合方式：Receiver-based和Direct方式。这里使用的是Kafka broker version 0.8.2.1，官方文档地址：（http://spark.apache.org/docs/2.2.0/streamin ...
分类：
其他好文 时间：
2019-10-31 23:40:35
阅读次数：
97
1.绝对路径 和 相对路径 新起shell环境 /home/kg/qiaoruihua/learn/shell_qiao/first.sh -- hello shellhello scala ./first.sh -- hello shellhello scala 2.bash 和 sh 新起she ...
分类：
其他好文 时间：
2019-10-31 17:59:47
阅读次数：
75
1、生成票据 1.1、创建认证用户 登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作： # kadmin.local -q “addprinc -randkey spark/yjt” 1.2、生成密钥文件 生成spark密钥文件 # kadmin.local -q “xst - ...
分类：
其他好文 时间：
2019-10-31 10:30:24
阅读次数：
319
例子 从简单的例子开始分析Retrofit2是怎么和其他的库一起合作的， 下边是一个很简单的例子，是rxjava2 + retrofit2 + okhttp3 + gson混合使用，是访问淘宝的ip地址查询服务，返回信息输出到EditText里。 public static Retrofit get... ...
分类：
其他好文 时间：
2019-10-31 01:18:25
阅读次数：
105
姓名：胡非凡 学号：201821121081 班级：计算1813 目录 1 实验目的 2 实验内容 3. 实验报告 3.1 建立网络拓扑结构 3.2 配置参数 3.3 测试网络连通性 3.4 理解RIP路由表建立和更新 4. 理解RIP消息传得慢 5. 拓展 1 实验目的 2 实验内容 3. 实验报 ...
分类：
其他好文 时间：
2019-10-30 21:07:25
阅读次数：
174
本文分别介绍GuassDB跨集群访问远端oracle以及远端MPPDB数据库。因环境有限，这里不列举对接HDFS以及对接Spark功能。一、对接oracle数据库1、约束限制仅支持连接Oracle11.2.0.1至Oracle12.2.0.1。要求Oracle-ODBC驱动的版本为12.2.0.1.0。unixODBC的版本要求为2.3.6。支持最多配置20组远端Oracle配置。配置所需要的Or
分类：
数据库 时间：
2019-10-30 11:54:20
阅读次数：
440
在 Scala 中所有值都有一种对应的类型 单例类型 形式： ，返回类型 / 场景1：链式API调用时的类型指定 由于 Scala 会将 推断为当前类（即 ），因此无法完成链式调用 场景2：方法中使用 实例作为参数 Note：不可定义为 ~~def c1(obj: Foo)~~，因为 Foo 为单例 ...
分类：
其他好文 时间：
2019-10-29 21:51:36
阅读次数：
78
