大数据的时代,网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了,它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容,它像一张大网一样把现在一些主流的技术栈都连接在了一 ...
分类:
编程语言 时间:
2020-06-30 14:26:14
阅读次数:
46
Linux网络编程所需头文件汇总如下: #include <stdio.h> #include <string.h> #include <stdlib.h> #include <unistd.h> #include <errno.h> #include <fcntl.h> #include <sys ...
分类:
系统相关 时间:
2020-06-29 11:56:18
阅读次数:
57
首先了解什么是同步(synchronous),异步(asynchronous),阻塞(blocking),非阻塞(nonblocking): 同步与异步 同步和异步是基于应用程序与操作系统处理I/O所采用的方式 同步:是应用程序直接参与I/O读写的操作,么有完毕将会等待(当应用程序发起read操作, ...
分类:
其他好文 时间:
2020-06-28 22:51:00
阅读次数:
120
第一阶段:C语言基础在开始学习C语言基础时,要反问自己为什么学C语言,如何学好C语言。同时要知道什么是C语言以及C语言的发展。当对这些知识有了一个概念之后,就正式开始学习C语言了,其中,可能会学到数据类型、运算符、表达式、数组、/函等,这些是为了对C语言的基础有一个基础认知,扩展,整合;还会学到指针、联合体、结构体、枚举、位运算、预处理、文件等知识点,学这些是为了全面掌握面向过程设计、实练逻辑算法
分类:
编程语言 时间:
2020-06-28 14:57:32
阅读次数:
52
声明:本文章为阅读书籍《Python神经网络编程》而来,代码与书中略有差异,书籍封面: 源码 若要本地运行,请更改源码中图片与数据集的位置,环境为 Python3.6x. 1 import numpy as np 2 import scipy.special as ss 3 import matpl ...
分类:
编程语言 时间:
2020-06-27 19:57:38
阅读次数:
94
应用编程接口 常用的API 是 socket和TLI 接口 描述符 socket 的返回值是一个描述符,用描述符调用read () ,write (),可以dup复制,在调用fork后,父进程和子进程都可共享,可以调用FCNT1改变属性,在进程调用时,被内核创建的数据结构 描述符和内核数据结构的关系 ...
分类:
其他好文 时间:
2020-06-27 15:56:42
阅读次数:
67
网络编程主要是两个协议 TCP/IP 和UDP 实现通信的最简单的方法是共享内存,同一个内存被两个进程共享,完成数据的传输 由进程间的通信逐渐的发展到后来的UDP 通信的前面,后来发展有了IPV4也就是现在的网络通信模式 网络通信的层次 osi 参考模型 应用层、表示层 、会话层、传输层、网络层、数 ...
分类:
其他好文 时间:
2020-06-27 13:33:42
阅读次数:
73
1.网络编程入门 1.1.网络编程概述 1.2网络编程三要素 1.3 IP IP地址常用命令: ipconfig 查看本机IP地址 ping IP地址 检查网络是否连通 特殊IP地址:127.0.0.1:是回送地址,可以表示本机地址,一般用来测试使用 1.4 InetAddress // InetA ...
分类:
其他好文 时间:
2020-06-26 22:17:25
阅读次数:
67
RPC框架称为远程调用框架,其实现的核心原理就是消费者端使用动态代理来代理一个接口的方法(基于JDK的动态代理,当然如果使用CGLib可以直接使用无接口类的方法),通过加入网络传输编程,传输调用接口方法名称,方法参数来给提供者获取,再通过反射,来执行该接口的方法,再将反射执行的结果通过网络编程传回消 ...
分类:
其他好文 时间:
2020-06-26 18:38:27
阅读次数:
64
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等网络首先熟悉一下,什么是网络,网络是几乎可以实时相互发送和接收数据的计算机和其他设备的集合。网络通常用线缆连接,数据为转换为电磁波,通过线缆移动。不过,无线网络会通过无线电波传输数据,许多长距离的传输现在会用通过玻璃纤维发送可见光的光纤电缆来完成。网络中的每台机器为一个节点(node)。大多数节点是计算机,但是打印机、路由器、
分类:
编程语言 时间:
2020-06-25 10:10:22
阅读次数:
166