Apache Spark Job 调优以提高性能(一) 假设你已经清楚了Spark 的 RDD 转换,Action 等内容。并且已经知道用web UI来理解为什么Job要花这么长时间时,Job、stage和task 也很清楚了。 如果不清楚可以看我的视频(。。。。) 在本文中,您将了解Spark程序 ...
分类:
其他好文 时间:
2020-05-17 17:50:13
阅读次数:
102
1.11 OSI网络协议层次每层的作用如下:应用层:为应用程序提供服务并规定应用程序中相关的通信细节。常见的协议包括超文本传输协议(HTTP)、简单邮件传送协议(SMTP)和远程登录(Telnet)协议等。表示层:将应用处理的信息转换为适合网络传输的格式,或将来自下一层的数据转换为上层能够处理的格式。该层主要负责数据格式的转换,确保一个系统的应用层信息可被另一个系统应用层读取。会话层:负责建立和断
分类:
其他好文 时间:
2020-05-14 11:21:31
阅读次数:
62
关于异常 在程序运行中,总会遇到各种各样的错误,如打开一个不存在的文件,程序期待用户输入数字,但用户输入了字符串,网络传输终止等,如果不对这些可能引发异常的情况进行处理,就会导致抛出异常程序被终止,这样对用户体验来说是很不友好的,所以为保证程序的健壮性,有必要对一些可能引发异常地方进行异常处理。 如 ...
分类:
编程语言 时间:
2020-05-09 18:50:30
阅读次数:
62
大型的网络监控系统对网络传输、信号转换的要求是非常严格的,一般的商业交换机很难满足安防监控的大流量网络视频信号对于实时性、完整性和流畅性的传输需求,因此在大型安防系统应用中,最好是采用专业级工业交换机来满足复杂多变的应用环境。 存储在内存中 存储时间短 比如:网页的缓存,历史记录 思考:为什么硬盘那么大不把所有的应用程序加载到硬 ...
分类:
编程语言 时间:
2020-05-05 23:24:54
阅读次数:
76
操作系统 Kafka 由 Scala 语言和 Java 语言编写而成,编译之后的源代码就是普通的“.class”文件 应该说部署在 Linux 上的生产环境是最多的 主要是在下面这三个方面上,Linux 的表现更胜一筹。 I/O 模型的使用 数据网络传输效率 社区支持度 主流的 I/O 模型通常有 ...
分类:
其他好文 时间:
2020-05-02 23:13:44
阅读次数:
68
参考博客 一、视频播放器的原理 音视频技术主要包括以下几点:封装技术、视频压缩编码技术、音频压缩编码技术。如果考虑到网络传输的话,还包括流媒体协议技术。 视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤: (1)解协议 (2)解封装 (3)解码音视频 (4)音视频同步 过程如下图所示: 解 ...
分类:
其他好文 时间:
2020-04-29 18:28:52
阅读次数:
218
xml 的主要作用有: 1、用来保存数据,而且这些数据具有自我描述性 2、它还可以做为项目或者模块的配置文件 3、还可以做为网络传输数据的格式(现在 JSON 为主)。 dom4j 编程步骤: 第一步: 先加载 xml 文件创建 Document 对象 第二步:通过 Document 对象拿到根元素 ...
分类:
其他好文 时间:
2020-04-27 19:04:45
阅读次数:
45
Java序列化 Java序列化将对象转化成二进制字节数组,可以将二进制数据保存到磁盘或者进行网络传输,实现了对对象状态的保存,并且可通过反序列化来获取完全相同的对象副本,达到对象持久化的目的。 序列化的要求: 1. 序列化对象必须实现java.io.Serializable接口。 2. 序列化类中需 ...
分类:
编程语言 时间:
2020-04-26 21:24:40
阅读次数:
125
背景保证kafka高吞吐量的另外一大利器就是消息压缩。就像上图中的压缩饼干。压缩即空间换时间,通过空间的压缩带来速度的提升,即通过少量的cpu消耗来减少磁盘和网络传输的io。消息压缩模型消息格式V1kafka不会直接操作单条消息,而是直接操作一个消息集合。消息格式V2:1,抽取了消息的公共部分放到消息集合中;去掉每条消息的公共部分,减少了总体积。2,消息的CRC校验由对每一条消息,移动到了对消息集
分类:
其他好文 时间:
2020-04-26 15:27:48
阅读次数:
81