一、爬虫基本原理 -爬虫全过程 1.发送请求 2.接收响应数据 3.解析并提取有价值的数据 4.保存数据二、Requests请求库 -get url headers cookies - post url headers cookies data 三、爬取校花网视频 1.通过主页解析提取详情页 2.通 ...
分类：
其他好文 时间：
2019-07-02 13:29:36
阅读次数：
92
1.七层网络模型 以客户端向服务端发送“hello”为例子，来说明网络传输的过程。 应用层 //用户把字符串“hello”转化成二进制流传输给传输层 [ hello =》 110110001100101110110011011001101111] 表示层 会话层 传输层 //以TCP为例说明， [ ...
分类：
其他好文 时间：
2019-07-01 15:44:26
阅读次数：
86
Class文件 javac Class文件是一组以8进制为基础的二进制流,各个数据项目严格按照顺序紧凑的排列在Class文件中，中间没有添加任何分隔符，整个class文件存储的内容几乎全是程序运行的必要数据，没有空隙存在。 当遇到8位字节以上的空间的数据项，则会按照高位在前的方式分割成若干个8位字节 ...
分类：
其他好文 时间：
2019-06-27 00:43:00
阅读次数：
99
1、3、4需要手动写。 - 爬虫框架 Scrapy（基于面向对象） 爬取梨视频: 1、分析网站的视频源地址 2、通过requests网视频源地址发送请求 3、获取视频的二进制流，并保存到本地。 使用Chrome浏览器工具 打开开发者模式 > network > preserve log、disabl ...
分类：
编程语言 时间：
2019-06-14 23:50:16
阅读次数：
132
一、Base64编码由来 为什么会有Base64编码呢？因为有些网络传送渠道并不支持所有的字节，例如传统的邮件只支持可见字符的传送，像ASCII码的控制字符就 不能通过邮件传送。这样用途就受到了很大的限制，比如图片二进制流的每个字节不可能全部是可见字符，所以就传送不了。最好的方法就是在不改变传统协议 ...
分类：
其他好文 时间：
2019-06-13 22:21:07
阅读次数：
122
#以上是函数内置模块 time() ,json(),load() 的应用 图片解释如下图 #以下是函数的命名空间 #以下是爬虫百度页面的具体需要获取的信息 和具体操作 #以下是爬取梨视频的操作 #图一 点击视频可找到对应的链接 #图二 #安装requests库 方法 #安装清华园的访问外网 ...
分类：
编程语言 时间：
2019-06-13 20:14:04
阅读次数：
111
开发中需要上传图片、音乐、视频等等，这种上传传递是二进制数据。 1.1客户端上传文件 文件域： 表单的enctype属性： 默认情况下，表单传递是字符流，不能传递二进制流，通过设置表单的enctype属性传递复合数据。 enctype属性的值有： application/x-www-form-url ...
分类：
Web程序 时间：
2019-06-07 00:41:29
阅读次数：
114
背景:实现文件下载导出 问题描述 遇到过这个问题的还是不少，问题出在ajax本身，解决方法和原因也都找到。 原因:文件的下载是以二进制形式进行的，ajax无法解析后台返回的文件流，所以无法处理二进制流response输出来下载文件 解决方式 隐藏表单，用提交表单的形式 用window.open() ...
分类：
Web程序 时间：
2019-05-25 19:29:16
阅读次数：
377
对象的序列化（Serialize）：将内存中的Java对象转换为与平台无关的二进制流（字节序列），然后存储在磁盘文件中，或通过网络传输给另一个网络节点。 对象的反序列化（Deserialize）：获取序列化的二进制流（不管是通过网络，还是通过读取磁盘文件），将之恢复为原来的Java对象。 要实现对象 ...
分类：
编程语言 时间：
2019-05-25 09:55:28
阅读次数：
122
业务描述： 模拟终端（智能家居）发送HTTP POST请求，请求参数为二进制流；而且，二进制流是加密后的数据，因此调试分两步： 1、Java代码生成加密后数据，并保存为二进制流文件 （电脑上的图片就是二进制流文件，只不过我们打开的时候，借助于电脑软件渲染为图片） 上代码片段： 代码很简单，就是把by ...
分类：
编程语言 时间：
2019-05-17 20:46:40
阅读次数：
370
