2014年已经过去了，这一年中发生了很多的事情，需要自己好好总结一下。
过去的一年总，巴西世界杯结束了，德国获得了冠军。APEC会议在京召开，那几天北京的天气出奇的蓝。冰桶挑战如火如荼，各路明星竞相挑战。阿里巴巴上市了，成为目前为止的最大IPO，马云成了首富。天猫双十一又破纪录了，全天交易额超过571亿元。马航失联了......；也火了一些人：百元哥，瓜子哥，项链姐......
...
分类：
其他好文 时间：
2015-01-25 22:34:35
阅读次数：
276
此文主要通过 百度登录 功能，进行 Selenium2 的实战实例讲解。文中所附源代码于 2015-01-17 23:33 亲测通过，敬请亲们阅览。同时，您也可参考此文进行其他网站（例如 京东、易迅、天猫等）的登录（一般登录流程基本相同，若需填写验证码，因目前验证码识别不方便，初始学习时可让脚本运行...
分类：
Web程序 时间：
2015-01-18 00:43:22
阅读次数：
214
几个优秀的互联网分享站点，干货不断...！
派代网 http://www.paidai.com
派代网创立于2007年2月8日，定位为中国电子商务驱动器，是目前国内最具影响力、交流最活跃的电子商务行业深度交流平台，用户数已超过四十九万余人，集聚了大量中国电子商务领军企业的创始人和资深行业专家，淘宝天猫大卖家，如王峻涛、刘强东、张国华、李阳、郭峰、孙弘、吕长城、赵迎光等。
派代网致力于促进行业...
分类：
Web程序 时间：
2015-01-16 13:06:16
阅读次数：
170
前几天没事的时候想到一个玩意，后面想想了觉得可行比较高，就准备开始动工，然后昨天晚上，想了想业务，大体上把数据库和简单架构做好，用的是ASP.MVC+EF+MSSQL做这个项目。前期，数据库表不多，4个表，主要是来采集天猫产品。表：goods,user,category,news程序分层：UI（视图..
分类：
其他好文 时间：
2015-01-14 18:29:33
阅读次数：
196
好久没写博客了，一方面这段时间公司的事情项目比较多，另一方面自己也有准备成立自己的个人工作室，所以一直没顾得上去总结写一下技术博客，今天正好有点时间就来一篇吧。
这段时间一直在进行开发商城的APP(Android和IOS)，也研究一下国内绝大多数的电商APP(例如:淘宝,京东,天猫,苏宁易购,顺丰优选等等)，他们的商品分类其实大多数属于常见格调:列表-点击二级列表-具体三级分类列表...
分类：
移动开发 时间：
2015-01-13 10:39:37
阅读次数：
146
第三部分替换默认下载器，使用selenium下载页面对详情页稍加分析就可以得出：我们感兴趣的大部分信息都是由javascript动态生成的，因此需要先在浏览器中执行javascript代码，再从最终的页面上抓取信息（当然也有别的解决方案）。scrapy本身提供了Middleware机制。利用Dowloader..
分类：
编程语言 时间：
2015-01-12 11:09:41
阅读次数：
371
第一部分：任务描述起始页面：http://shanhuijj.tmall.com/search.htm?spm=a1z10.3-b.w4011-3112923129.1.KjGkS2这个页面列出了网店的所有宝贝，如图：点击进入宝贝详情页面，例如：http://detail.tmall.com/item.htm?spm=a1z10.3-b.w4011-3112923129.62.xGx75B&id=1091021..
分类：
编程语言 时间：
2015-01-12 06:55:47
阅读次数：
800
第二部分抽取起始页中进入宝贝详情页面的链接创建项目，并生成spider模板，这里使用crawlspider。2.在中scrapyshell中测试选取链接要使用的正则表达式。首先使用firefox和firebug查看源码，定位到要链接然后在shell中打开网页：scrapyshellhttp://shanhuijj.tmall.com/search.h..
分类：
编程语言 时间：
2015-01-12 06:53:47
阅读次数：
945
1.1 系统架构设计目录摘要：双11来临之际，《程序员》以“电商峰值系统架构设计”为主题，力邀京东、当当、小米、1号店、海尔商城、唯品会、蘑菇街、麦包包等电商企业，及商派、基调网络等服务公司，分享电商峰值系统架构设计的最佳技术实践。自2009年11月11日,淘宝商城（现名天猫）拉开网购狂欢节的序幕，...
分类：
其他好文 时间：
2015-01-08 11:00:37
阅读次数：
1490
