写技术博客主要就是总结和交流的，如果文章用错，请指正啊！以前一直在使用SGMLParser，这个太费时间和精力了，现在为了毕业设计，改用BeautifulSoup来实现HTML页面的解析工作的。一、字符的编码和解码 和网页打交道，首先解决的就是web页面的编码方式，不幸的是不同网站的页面编码方式基....
分类：
编程语言 时间：
2015-01-28 17:40:25
阅读次数：
156
文章来源：Html Agility Pack解析HTML页 现在，在不少应用场合中都希望做到数据抓取，特别是基于网页部分的抓取。其实网页抓取的过程实际上是通过编程的方法，去抓取不同网站网页后，再进行分析筛选的过程。比如，有的比较购物网站，会同时去抓取不同购物网站的数据并将其保存在数据库中。一般，这些...
分类：
Web程序 时间：
2015-01-23 18:01:53
阅读次数：
247
订单号重复致使支付宝支付不了情景：这个很好理解，比如说你用同一个支付宝商户账号，给不同网站（系统）使用的时候，如果各自的网站（系统）产生的订单规则都类似甚至相同，就很有可能发生这种错误。解决方法：一定要让产生的订单号在支付宝商户账号里保持唯一。支付充值后，我的账号余额竟然还是原来那么多！？如果我这么...
分类：
其他好文 时间：
2015-01-20 20:29:00
阅读次数：
159
阿里云服务器win2003下iis整合tomcat共享80端口很多机器都用tomcat跟IIS部署不同网站、最近买了阿里云的服务器、于是也想玩一下、网上百度了很多方法、但是都有缺陷说的不是很清楚、通过日志查看以及谷歌、尝试了很多方法终于配置OK。第一、整合环境：Windows Service 200...
节日不同，网站显示不同主题。就是解决这个问题。也制作多套视图。
没必要为所有页面设置主题，如果没有，就按照正常视图显示
在主配置文件中进行快速修改：...
分类：
其他好文 时间：
2014-10-30 00:16:38
阅读次数：
128
在公司项目中，有一些爬虫中需要用的国内代理，有一些需要用到国外代理，有一些不用代理我测试了三个方案方案一：在settings.py中开启代理，然后在spider中重写DOWNLOADER_MIDDLEWARES，但重写无法生效方案二：让scrapy切换到不同的settings.py文件，这个手动切换是有效果的，..
分类：
Web程序 时间：
2014-09-01 15:48:54
阅读次数：
251
答案是No，广告主购买不了你的浏览历史。能够获取到你在不同网站的浏览历史的目前只有广告服务提供商，据我所知只有两种广告商。但是无论哪种广告商都不会把你的浏览历史卖给广告主。一个是网盟类的广告服务提供商（例如Google Adsense/Baidu网盟等）。海量的长尾网站，包括门户网站的冗余广告位会选...
分类：
其他好文 时间：
2014-08-23 19:00:21
阅读次数：
196
在Hive中，需要实现Hive中的函数无法实现的功能时，就可以用Streaming来实现。其原理可以理解成：用HQL语句之外的语言，如Python、Shell来实现这些功能，同时配合HQL语句，以实现特殊的功能。
比如，我有一张不同网站访问的日志表，其中有两个列是url和ref，分别代表当前访问的网址和来源地址，我想要查看用户的来源，即看用户都是从那些网站跳到这些网站上去的，这里有些网站可能域名...
分类：
编程语言 时间：
2014-08-07 23:21:44
阅读次数：
448
开发一个带有响应式交互设计的网站变得非常有意义，因为其可以在不同的设备运行，因此，你可以节约针对不同平台开发不同网站的成本。但是，要做最大限度相应的网页设计，有些误区你应当避免。 不要优先为桌面版设...
分类：
Web程序 时间：
2014-07-30 12:37:24
阅读次数：
297
