分布式缓存 分布式缓存的思想在hadoop和spark中都有体现，Flink 提供的分布式缓存类似 Hadoop，目的是为了在分布式环境中让每一个 TaskManager 节点保存一份相同的数据或者文件，当前计算节点的 task 就像读取本地文件一样拉取这些配置。 比如在进行表与表 Join 操作时 ...
分类：
其他好文 时间：
2020-05-25 19:29:56
阅读次数：
60
达梦7数据库，将数据时间大于等于2020-04-13的数据，数据时间修改为42天后，插入到数据表中，注：原数据仍存在。INSERTINTOWF_YC_HISTORY_DATA1(SELECTANALOG_NO,DATEADD(dd,42,DATA_TIME)DATA_TIME,YC_RAW_VAL,YC_VAL,DATA_FLAGFROMWF_YC_HISTORY_DATA1WHEREDATA_T
分类：
数据库 时间：
2020-05-25 17:33:12
阅读次数：
60
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
跑spark job的时候碰到了错误： 这是因为nmPrivate目录没有权限访问引起的。 参考： "https://www.oschina.net/question/2288283_2134188" ...
分类：
其他好文 时间：
2020-05-25 09:22:14
阅读次数：
74
下面从以下7个方面介绍BOM： BOM概述 window对象的常见事件 定时器 JS执行机制 location对象 navigator对象 history对象 1. 什么是BOM？ BOM（Browser Object Model）即浏览器对象模型，它提供了独立于内容而与浏览器窗口进行交互的对象，其 ...
一般来说，一个spark程序包含两种 JVM 程序，Dirver 和 Executor。Dirver 是主要的控制程序，负责创建 context，提交任务，那 job 转换为 task 并且协调 task 在 executor 中的执行。Executor 主要是负责执行计算任务并且将结果返回给 Dr ...
分类：
其他好文 时间：
2020-05-24 23:52:11
阅读次数：
70
简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式 个人理解 yarn主要有两个作用. 一个是创建container以此来分配计算资源 另外一个 ...
分类：
其他好文 时间：
2020-05-24 11:33:26
阅读次数：
64
DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD
分类：
其他好文 时间：
2020-05-24 10:00:38
阅读次数：
88
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题的第六篇文章，这篇文章会介绍一个免费的spark平台，我们可以基于这个平台做一些学习实验。 databricks 今天要介绍的平台叫做databricks，它是spark的创建者开发的统一分析平台。单凭spark创建 ...
分类：
其他好文 时间：
2020-05-24 09:23:32
阅读次数：
113
