标签:拒绝 ios 关键词 前言 作业 https 搜索 注意事项 类型
<meta name="keywords" content="IT前言技术、iOS技术、HTML5技术、Android技术" /><meta name="description" content="江哥热爱于IT前言技术、iOS技术、HTML5技术、Android技术研究" /><meta name="author" content="Jonathan_Lee" /><meta http-equiv="Refresh" content="2;URL=http://www.baidu.com/">作用: 告诉搜索引擎当前网页的作业, 写给网络爬虫看的内容
格式: <meta name="robots" content="all|none|index|follow|noindex|nofollow" />
常见组合
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="ALL"><META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接。
注意事项:
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">标签:拒绝 ios 关键词 前言 作业 https 搜索 注意事项 类型
原文地址:https://www.cnblogs.com/booksBlog/p/10340104.html