该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 在上一章（Hadoop3.1.1源码Client详解 : 写入准备-RPC调用与流的建立） 我们提到，在输出流DFSOutputStream创建后，DataStreamer也随之创建，并且被启动 下文主 ...
分类：
其他好文 时间：
2020-02-21 00:16:28
阅读次数：
103
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 流水线(PipeLine)，简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。 整条流水线由若干个DataNode串 ...
分类：
其他好文 时间：
2020-02-20 23:44:31
阅读次数：
94
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
我使用的环境为：Windows10、python3.6、scapy 2.4.0 一、基本知识 Sniff方法定义： sniff(filter="",iface="any", prn=function, count=N) filter的规则使用 Berkeley Packet Filter (BPF) ...
分类：
编程语言 时间：
2020-02-19 12:48:41
阅读次数：
93
什么是TCP/IP、UDP？ TCP/IP（Transmission Control Protocol/Internet Protocol）即传输控制协议/网间协议，是一个工业标准的协议集，它是为广域网（WANs）设计的。UDP（User Data Protocol，用户数据报协议）是与TCP相对应 ...
分类：
其他好文 时间：
2020-02-17 23:45:35
阅读次数：
64
sparkUi的4040界面已经有了运行监控指标，为什么我们还要自定义存入redis？ 1.结合自己的业务，可以将监控页面集成到自己的数据平台内，方便问题查找，邮件告警 2.可以在sparkUi的基础上，添加一些自己想要指标统计 一、spark的SparkListenersparkListener是 ...
分类：
其他好文 时间：
2020-02-17 01:03:57
阅读次数：
306
Github报错：更新被拒绝，因为你当前分支的最新提交落后于其对应的远程分支 问题现象 从上图中报错信息得知，此 是说，拒绝 提示： 由于当前分支的提示已过期，更新被拒绝 解决办法 因为当前分支的最新提交落后其对应的远程分支，所以我们需要先从远程库fetch到更新在和本地库合并，之后就可以正常进行g ...
分类：
其他好文 时间：
2020-02-15 23:17:42
阅读次数：
115
前提： 本地导出MYSQL的一个数据脚本.sql， 有50M大小的，想传到服务器上后再服务器上再导入， 结果在服务器上出现 ‘ server has gone away ’ 的错误，网上搜索后修改my.ini文件里的 max_allowed_packet = 40M， 修改后保存， 进服务里重新启动 ...
分类：
数据库 时间：
2020-02-15 15:05:50
阅读次数：
82
[root@kunpeng82 ovs]# ovs-ofctl dump-flows s1 cookie=0x0, duration=432.489s, table=0, n_packets=1, n_bytes=70, in_port="s1_p1" actions=output:"s1_p1" ...
分类：
其他好文 时间：
2020-02-14 18:30:26
阅读次数：
111
环境搭建 "PHP" curl 安装curl库 确认环境。 代码样例 使用代理 运行下 进阶学习 "curl库" "代理IP" ...
分类：
Web程序 时间：
2020-02-14 00:30:26
阅读次数：
833
