爬虫性能相关 爬虫的本质就是一个socket客户端与服务端的通信过程,如果有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等同于低效,如果这N个任务都是纯计算的任务,那么该线程对cpu的利用 ...
分类:
其他好文 时间:
2019-03-25 01:19:26
阅读次数:
141
i2c总线注意事项和在linux下使用实战仔细阅读上图中的下部分文字。注意你的i2c_msg发送方式,决定了是否有pause。注意图中,什么叫sr。注意图上说的什么样的才是真i2c协议i2c设备驱动涉及的linuxi2capi:参见include/linux/i2c.hi2c_transfer()i2c_master_send()、i2c_master_recv()i2c_smbus_xfer()
分类:
系统相关 时间:
2019-03-24 00:16:29
阅读次数:
387
主要是创建一个服务端,在创建服务端的时候,主要步骤如下:创建socket对象socket——》绑定IP地址和端口bind——》监听listen——》得到请求accept——》接收请求recv——》发送信息send——》关闭close客户端代码就是连接服务器,接收和发送消息,具体流程如下:创建sock ...
分类:
编程语言 时间:
2019-03-23 10:40:27
阅读次数:
705
主机有两个ip 内网10.x.x.x 外网220.x.x.x 通过netstat -anp命令可以看到监听规则 Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 10.x.x.x:5055 0.0.0.0:* LISTEN ...
分类:
其他好文 时间:
2019-03-22 16:50:16
阅读次数:
135
#!/bin/bashnetstat-antup|grepSYN_RECV|awk‘{print$5}‘|awk-F:‘{print$1}‘|sort|uniq-c>/opt/tmpexec</opt/tmpwhilereadlinedocount=echo$line|awk‘{print$1}‘ip=echo$line|awk‘
分类:
系统相关 时间:
2019-03-20 11:57:05
阅读次数:
191
三次握手:第一次握手:客户端发送syn包(syn=x)到服务器,并进入SYN_SEND状态,等待服务器确认;第二次握手:服务器收到syn包,必须确认客户的SYN(ack=x+1),同时自己也发送一个SYN包(syn=y),即SYN+ACK包,此时服务器进入SYN_RECV状态;第三次握手:客户端收到 ...
分类:
其他好文 时间:
2019-03-18 23:51:12
阅读次数:
285
IO模型 模型就是套路,是解决某个固定问题的方式方法 io模型是解决io问题的方式 io指的是输入输出,输入输设备的速度对比cpu而言是非常慢的,比如recv,input等都属于io操作 io操作最大的问题就是会阻塞程序的执行 io模型要解决的也仅仅是网络io操作 io模型有以下几个: 1 阻塞io ...
分类:
其他好文 时间:
2019-03-12 18:42:21
阅读次数:
146
UDP网络程序 一.创建一个udp客户端程序 流程简单,具体步骤如下: 二.发送数据 三.接收数据 四.绑定信息 1).一般情况下,在一天电脑上运行的网络程序有很多,而各自用的端口号很多情况下不知道,为了不与其他的网络程序占用同一个端口号,往往在编程中,udp的端口号一般不绑定 但是如果需要做成一个 ...
分类:
编程语言 时间:
2019-03-12 14:12:44
阅读次数:
207
因为原生tcp不能连接多个用户。所以使用socketserver。 固定代码: import socketserver Class A(socketserver.BaseRequestHandler): def handler(self): self.request.recv() # 相当于conn ...
分类:
其他好文 时间:
2019-03-12 10:41:45
阅读次数:
185
1. Network Traffic Basic 每个接口的基本网络信息 type: GraphUnit: bytesrecv {{device}} 各个网络接口的下载量recv lo: 本地环回接口recv eth0: 以太网接口recv docker0: docker0 网络接口metrics: ...
分类:
Web程序 时间:
2019-03-05 21:12:03
阅读次数:
217