5.ModifyTable节点 先看一个ModifyTable节点的例子： 你可能疑惑为啥上面的查询计划里面没有"ModifyTable"这样的字眼，下面是explain.c文件中的一段： 由此我们可以看到，对于ModifyTable节点，explain会判断是增删改中的哪一种从而作出判断。所以当在 ...
分类：
数据库 时间：
2018-02-08 17:43:22
阅读次数：
215
一、前述 Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。 累机器相当于统筹大变量，常用于计数，统计。 二、具体原理 1、广播变量 广播变量理解图 注意事项 1、能不能将一个RDD使用广播变量广播出去？ 不能，因为RD ...
分类：
其他好文 时间：
2018-02-07 00:36:47
阅读次数：
200
1.实现分布式锁的几种方案 1.Redis实现 (推荐) 2.Zookeeper实现 3.数据库实现 2.Redis分分布式锁的代码实现 1.定义锁接口 2.定义锁实现 3.分布式锁验证 4.结果验证： 在Controller中模拟了1000个线程，通过线程池方式提交，每次20个线程抢占分布式锁，抢 ...
分类：
其他好文 时间：
2018-02-05 18:43:56
阅读次数：
143
Executor是Java线程池的顶级接口 接口中最核心的一个类：ThreadPoolExecutor 中的构造方法： public ThreadPoolExecutor(int corePoolSize, // 10 int maximumPoolSize, // 10 long keepAliv ...
分类：
编程语言 时间：
2018-02-04 11:13:17
阅读次数：
194
Join节点 JOIN节点有以下三种： 连接类型节点对应于关系代数中的连接操作，PostgreSQL中定义了如下几种 连接类型 (以T1 JOIN T2 为例)： 1)Inner Join:内连接，将T1的所有元组与T2中所有满足连接条件的元组进行连接操作。 2)Left Outer Join:左连 ...
分类：
数据库 时间：
2018-01-25 23:15:37
阅读次数：
441
一、前述 为了提高Storm的并行能力，通常需要设置并行。 二、具体原理 1. Storm并行分为几个方面： Worker – 进程一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology）这些Worker进程会并行跑在集群中不同的服务器上，即一 ...
分类：
其他好文 时间：
2018-01-25 23:05:27
阅读次数：
190
报错信息： Caused by: com.mongodb.MongoException: Executor error: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an ...
分类：
数据库 时间：
2018-01-21 19:16:24
阅读次数：
513
1. 如果 Spark 中 CPU 的使用率不够高，可以考虑为当前的程序分配更多的 Executor， 或者增加更多的 Worker 实例来充分的使用多核的潜能 2. 适当设置 Partition 分片数是非常重要的，过少的 Partition 分片数可能会因为每个 Partition 数据量太大而 ...
分类：
其他好文 时间：
2018-01-19 20:22:58
阅读次数：
167
解决方法： 将driver_executor和executor_memory调大，调节原则：使用的资源有多大，就尽量去调节到最大的大小。 2、spark汇聚数据到hbase失败 解决办法： hive.Context.setConf("parquet.memory.min.chunk.size","1 ...
分类：
其他好文 时间：
2018-01-19 11:48:21
阅读次数：
1625
Eexecutor作为灵活且强大的异步执行框架，其支持多种不同类型的任务执行策略，提供了一种标准的方法将任务的提交过程和执行过程解耦开发，基于生产者-消费者模式，其提交任务的线程相当于生产者，执行任务的线程相当于消费者，并用Runnable来表示任务，Executor的实现还提供了对生命周期的支持， ...
分类：
其他好文 时间：
2018-01-17 23:34:49
阅读次数：
185
