【使用场景】 对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（例如几百MB或者1~2GB），比较适用此方案。。 【解决方案】 小表join大表转为小表broadcast+map大表实现。具体为： 普通的join是会shuf ...
分类：
其他好文 时间：
2019-03-24 10:02:41
阅读次数：
515
【业务场景】 在Spark的统计开发过程中，肯定会遇到类似小维表join大业务表的场景，或者需要在算子函数中使用外部变量的场景（尤其是大变量，比如100M以上的大集合），那么此时应该使用Spark的广播（Broadcast）功能来提升性能。 【原理说明】 在算子函数中使用到外部变量或两表join时， ...
分类：
其他好文 时间：
2019-03-21 01:06:28
阅读次数：
180
Android的四大组件：activity（活动）1、一个activity通常是一个独立的屏幕。2、activity通过intent通讯。3、在Androidmanifest.xml声明即可识别执行。注意该文件还可以注册某些权限:如访问互联网。service（服务）、1、定义：用于后台完成用户指定的 ...
分类：
移动开发 时间：
2019-03-19 10:43:53
阅读次数：
265
【Spark内存模型】 Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。 1. storage内存：存储broadcast，cache，persist数据的地方。 2. execution内存：执行内存，join、aggregate、ma ...
分类：
其他好文 时间：
2019-03-18 01:15:47
阅读次数：
156
数据链路层被分成了两个子层：MAC和LLCMAC子层要解决什么问题？ 介质访问控制（Madia Access Control） 数据通信方式?单播（unicast）：One - to - One?广播（broadcast)：One - to - Everyone of the whole 局域网采用... ...
分类：
系统相关 时间：
2019-03-15 20:46:16
阅读次数：
220
简介 BroadcastReceiver（广播接收器）是Android四大组件之一，是一个用来响应系统范围内的广播组件，可以从Android系统和其它app发送或接收广播消息，类似于发布 订阅设计模式。其特点是异步的，广播发送者不会关心有无接收者接收。可应用于不同组件之间的通信、多线程通信和系统在特 ...
分类：
移动开发 时间：
2019-03-07 17:44:17
阅读次数：
308
首先要给本机配置静态ip，以下为修改网卡信息的配置文件路径：配置好静态ip后，我们就可以安装DHCP服务了，DHCP服务的包文件在系统盘，接下来挂载系统盘：以上作用域的各个选项含义如下：subnet&netmask：声明网段地址；range：设置地址池的范围；optiondomain-name-servers：该作用域指定的DNS服务器地址；optiondomain-name：指定默认搜索
分类：
系统相关 时间：
2019-02-23 21:55:57
阅读次数：
308
ZooKeeper并没有直接采用Paxos算法，而是采用一种被称为ZAB（ZooKeeper Atomic Broadcast）的一致性协议 ZooKeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Ma ...
分类：
编程语言 时间：
2019-02-22 19:51:05
阅读次数：
270
广播在平时的开发中使用非常广泛，尤其在系统源码中。广播接收器作为四大组件之一，有着很丰富的内容，所以要正确理解和使用广播，也不是一件简单的事情。广播对性能的影响，广播的机制，接收器处理耗时问题，接收器所在线程问题等这些都是开发者需要理解的内容。 ...
分类：
其他好文 时间：
2019-02-19 13:52:16
阅读次数：
227
搞懂分布式技术4：ZAB协议概述与选主流程详解 ZAB协议 ZAB(Zookeeper Atomic Broadcast)协议是专门为zookeeper实现分布式协调功能而设计。zookeeper主要是根据ZAB协议是实现分布式系统数据一致性。 zookeeper根据ZAB协议建立了主备模型完成zo ...
分类：
其他好文 时间：
2019-02-08 21:51:44
阅读次数：
129
