MapReduce计算模型中，如果两个数据集的关联，并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联，那么会导致大量数据分发到一个节点计算，使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型，而是计算思想模型，比如spark、flink等，甚至更广阔 ...
分类：
其他好文 时间：
2020-06-30 00:16:31
阅读次数：
68
一.安装部署zookeeper 2.zookeeper服务管理命令 启动ZK服务: zkServer.sh start 查看ZK状态: zkServer.sh status 停止ZK服务: zkServer.sh stop 重启ZK服务: zkServer.sh restart ...
分类：
系统相关 时间：
2020-06-29 22:56:07
阅读次数：
83
最近写项目，由于设备原因，需要将一台电脑的项目拷贝到另一台电脑上，在另一个电脑上继续编写。由于配置属性原因，最终还是在另一台电脑上创建了新项目，只是把这些cpp文件都复制过去了，然后重新部署属性。 背景：这个项目运行时有加入外部参数，完整项目（包含环境部署）拷贝到新电脑上，发现每次运行也是自带事先设 ...
分类：
编程语言 时间：
2020-06-29 15:38:26
阅读次数：
73
一、Data Sinks 在使用 Flink 进行数据处理时，数据经 Data Source 流入，然后通过系列 Transformations 的转化，最终可以通过 Sink 将计算结果进行输出，Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 ...
分类：
其他好文 时间：
2020-06-28 09:50:59
阅读次数：
76
一、Transformations 分类 Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类： DataStream Transformations：进行数据流相关转换操作； Physical pa ...
分类：
其他好文 时间：
2020-06-28 09:35:03
阅读次数：
60
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings ...
分类：
其他好文 时间：
2020-06-27 20:01:40
阅读次数：
70
部署LAMP环境 请注意centos版本, https://help.aliyun.com/document_detail/50774.html?spm=5176.11065259.1996646101.searchclickresult.329a675cZHKfON ...
分类：
其他好文 时间：
2020-06-27 09:43:59
阅读次数：
63
发布一个k8s部署视频：https://edu.csdn.net/course/detail/26967 课程内容：各种k8s部署方式。包括minikube部署，kubeadm部署，kubeasz部署，rancher部署，k3s部署。包括开发测试环境部署k8s，和生产环境部署k8s。 腾讯课堂连接地 ...
分类：
其他好文 时间：
2020-06-25 21:17:23
阅读次数：
116
package spendreport; import org.apache.flink.api.common.state.ValueState; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.ap ...
分类：
Web程序 时间：
2020-06-25 13:37:20
阅读次数：
162
