我们都知道，离线计算有Hive,使用过的知道，需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema，schema的本质是什么？主要描述下面这些信息 1）当前存储的物理位置的描述 2）数据格式的组成形式 然后Hive可以让用户定义一段sql，针对上面定义的schema ...
分类：
数据库 时间：
2018-10-26 17:45:11
阅读次数：
244
继续上一章部署。 九、controller-manager部署 9.1 下载二进制文件，参考 第三章 9.2 创建 kube-controller-manager 证书和私钥 hosts 列表包含所有 kube-controller-manager 节点 IP CN 为 system:kube-co ...
分类：
Web程序 时间：
2018-10-25 19:38:28
阅读次数：
228
一、尽量在业务上和技术上避免分布式事务显而易见，微服务架构十分的流行，特别是对于电商领域来说。他的优点就不多说了，但是随着集群机器的增加，集群的规模也越来越大，随着集群搭载的服务规模也越来越大，导致事务的处理也就越来越复杂，有可能一个事务涉及到n多个服务，可想而知就算再优良的方案也很难处理这么复杂的事务，与其硬着头皮牺牲性能和可靠性，还不如改变业务，再结合技术对事务进行分割，将复杂的事务简单化，将
分类：
其他好文 时间：
2018-10-24 20:05:40
阅读次数：
249
一、背景 基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。 公司领导最近提了一个实时展示用户、产品各方面统计数据的需求，对于数据埋点需要有一 ...
分类：
其他好文 时间：
2018-10-15 23:17:27
阅读次数：
332
Flink中支持的BLOB文件类型 jar包 被user classloader使用的jar包 高负荷RPC消息 1. RPC消息长度超出了akka.framesize的大小 2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor ...
分类：
其他好文 时间：
2018-10-09 19:04:20
阅读次数：
1091
一. Flink的下载 安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载 Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 二. Local模式 ...
分类：
其他好文 时间：
2018-10-09 18:11:10
阅读次数：
1484
standalone 模式的高可用 部署 flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成 ，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口 在一下例子 ...
分类：
其他好文 时间：
2018-10-08 23:20:34
阅读次数：
426
Explain how flink kafka producer supports exactly once mode with transaction and two phase commit
分类：
其他好文 时间：
2018-10-06 12:03:08
阅读次数：
198
This passage discusses how to integrate a provided drools package into datastream application.
分类：
其他好文 时间：
2018-10-05 01:02:11
阅读次数：
173
本文来自网易云社区 作者：田宏增 Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制,replication的数量可以在$KAFKA_H ...
分类：
其他好文 时间：
2018-09-28 12:57:37
阅读次数：
142
