项目须要用脚本生成sitemap，中间学习了一下sitemap的格式和lxml库的使用方法。把结果记录一下，方便以后须要直接拿来用。 来自Python脚本生成sitemap 安装lxml 首先须要pip install lxml安装lxml库。 假设你在ubuntu上遇到了下面错误: <!--mor ...
分类：
编程语言 时间：
2017-08-16 11:21:32
阅读次数：
162
AKismet:spam必杀插件（过滤垃圾评论） google xml sitemap插件 文章统计插件 WP-PostViews 页面导航插件：WP-PageNavi Simple Tags标签插件 Baidu Sitemap Generator Lc.Archivers（WP博客的无图版、简洁版 ...
分类：
其他好文 时间：
2017-07-20 10:10:31
阅读次数：
124
sitemap-php 是一个轻量级、简单快速生成网站地图的开源项目，由北京米扑科技有限公司(mimvp.com)开发分享。 通过简单的配置定义，一个函数createSitemap()，可自动生成sitemap.xml、sitemap.html等网站地图文件, 自动生成的xml、html文件，支... ...
分类：
Web程序 时间：
2017-07-16 14:57:16
阅读次数：
251
【关键词：robot.txt,sitemap,User-Agent,Disallow,Allow】[声明：摘自Wikipedia] 1. 定义：robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应 ...
分类：
其他好文 时间：
2017-07-12 15:14:23
阅读次数：
148
1. 如何查看网站的robots.txt 网址/robots.txt， 比如小米 https://www.mi.com/robots.txt sitemap.xml ...
分类：
Web程序 时间：
2017-07-08 17:49:49
阅读次数：
363
最近网站从HTTPS转为HTTP，更换了网址，旧网址做了301重定向，折腾有点大，于是在百度站长平台提交网址，不管是主动推送还是手动提交，前提都是要整理网站的链接，手动添加太麻烦，效率低，于是就想写个脚本直接抓取全站链接并导出，本文就和大家一起分享如何使用python3实现抓取链接导出。 首先网站要 ...
分类：
编程语言 时间：
2017-07-03 12:06:35
阅读次数：
181
",FILE_APPEND); add_site($file_location,$file); file_put_contents($file,"",FILE_APPEND); } } function add_site($dir,&$file){ if(preg_match('/^[a-z]{1,... ...
分类：
其他好文 时间：
2017-06-20 00:24:54
阅读次数：
247
网站map设置可以参考：http://www.sitemaps.org网站检测可以参考：http://www.webpagetest.orgseo网站空间可以参考：http://www.zoneidc.comseo服务器租用可以参考：http://www.zndata.com 网站建设基本步骤：1、 ...
分类：
Web程序 时间：
2017-05-18 15:46:45
阅读次数：
182
Dynamics 365 for CRM 提供了Sitemap站点图的可视化编辑功能 在之前的所有版本中，我们只能通过从系统中导出站点图的XML进行编辑后再导入(容易出错)，或使用第三方的Sitemap编辑工具进行编辑（非常方便）。 在Dynamics 365 for CRM 中原生地提供了站点图的 ...
分类：
其他好文 时间：
2017-04-17 23:52:37
阅读次数：
1476
目前很多网站管理者似乎对robots.txt并没有引起多大重视，甚至不知道这么一个文件的作用。本来应该保密的信息被爬虫抓取了，公布在公网上，本应该发布到公网的信息却迟迟不被搜索引擎收录。所以下面这篇文章，就来介绍robots.txt的作用和写作 robots.txt基本介绍 robots 是一个纯文 ...
分类：
其他好文 时间：
2017-04-03 22:48:55
阅读次数：
275
