WEB机器人之robots协议web机器人，即爬虫。可以递归的对web站点进行遍历查询，获取web页面。robots.txt：robots协议，是一种自愿约束技术。有些web站点并不希望web机器人查看其站内某些隐私信息，人们提出了robots协议。即所有web站点都可以在其根目录下创建一个robots.txt的文..
分类：
Web程序 时间：
2015-05-06 15:22:45
阅读次数：
134
读书《HTTP权威指南》 第1 章 HTTP 概述 1.1 HTTP——因特网的多媒体信使 1.2 Web 客户端和服务器 1.3 资源? 1.3.1 媒体类型? MIME 类型是一种文本标记，表示一种主要的对象类型和一个特定的子类型，中间 ...
分类：
Web程序 时间：
2015-05-05 22:07:21
阅读次数：
125
HTTP代理via首部：列出了报文中间经过各个节点(代理)的信息，形式：Via:1.1proxy1，1.0proxy2......TEACE方法的Max-Forwards字段：当使用TRACE方法，可以查看请求报文在经过代理时被做了哪些修改，无论中间经过了多少个代理。而Max-Forwards首部字段设定了最大经过的代理个数。..
分类：
Web程序 时间：
2015-05-05 16:55:13
阅读次数：
127
缓存缓存的再验证：由于原始服务器上的文件随时可能会变化，因此缓存需要不时的对其进行检测，对比本地的缓存是否与原始服务器上的相同，这种“新鲜度检测”即为再验证。再验证进行的频率：大部分缓存只有在客户端发起请求，并且本地缓存副本旧的足以需要检测的时候，才会进行..
分类：
Web程序 时间：
2015-05-05 16:46:25
阅读次数：
114
记录在阅读《http权威指南》时一些知识点，以备后用。URL部分rstp://www.123.com/1.mp4rstp下载协议url中的ftp方案：ftp://username:password@ftp.123.com/file_nameurl中的参数：参数名=值eg：www.123.com/index.html;type=valueurl中的查询：http://www.123.com/...?item=123..
分类：
Web程序 时间：
2015-05-03 19:11:21
阅读次数：
255
WEB服务器关于线程与进程：单线程web服务器：一次只处理一个请求，处理完毕后，再去处理下一个连接。多进程及多线程web服务器：使用多个进程/线程同时处理请求，有些服务器会为每条连接分配一个线程/进程，当连接很多时，服务器会对线程/进程的最大数量做限制。关于线程和进程..
分类：
Web程序 时间：
2015-05-03 14:42:42
阅读次数：
126
导读：最近看完了大部头著作《HTTP权威指南》,对于此类指南类、手册类图书，往往让我们联想到的就是枯燥无味的使用讲解、技术指标讲解......使人头大。但是这本书却让我觉得读起来很“清新”，一方面作者用了浅显易懂的语言和大量的图示让我们很容易知所以然，另一方面应该是我..
分类：
Web程序 时间：
2015-04-06 06:36:05
阅读次数：
215
导读：最近看完了大部头著作《HTTP权威指南》,对于此类指南类、手册类图书，往往让我们联想到的就是枯燥无味的使用讲解、技术指标讲解......使人头大。但是这本书却让我觉得读起来很“清新”，一方面作者用了浅显易懂的语言和大量的图示让我们很容易知所以然，另一方面应该是我一直以来对网络编程的兴趣和此书的内容有很大的契合点，今天要讲的内容也是与自己的兴趣有关的HTTP协议中有关TCP的部分，是从书中第四...
分类：
Web程序 时间：
2015-04-05 21:58:44
阅读次数：
210
2.2.3用户名与密码:打开第一个链接，服务器会要求输入用户名与密码若用户没有输入则插入一个anonymous的匿名用户作为你的用户名并会发送一个默认的密码。第二个连接是一个指定的anonymous用户，这个用户名与主机组件结合在一起（看起来像email地址），中间用@将用户名与密码组件和URL的其...
分类：
Web程序 时间：
2015-03-20 01:20:30
阅读次数：
150
浏览器缓存机制之一（经典缓存）
因为在接手的项目中用到过比较新的HTML5应用缓存，也用到了经典的缓存如设置max-age，Etag之类，而之前一直就是在用着没有去深究其中原理。周末天气不好，懒得出去了，正好找时间总结下。
1.关于浏览器缓存记得去年看《HTTP权威指南》的时候，有一章是专门讲浏览器缓存的，一年时间过得太快，逝去的时光还真是如同人群中消失的好姑娘，眼看她嫁给别人。我这里把浏览器缓...
分类：
其他好文 时间：
2015-03-11 00:49:04
阅读次数：
179
