淘宝页面比较复杂，含有各种请求参数和加密参数，如果直接请求或者分析Ajax将会非常繁琐。Selenium是一个自动化测试工具，可以驱动浏览器去完成各种工作，比如模拟点击、输入和下拉等多种功能，这样我们只需关心操作，不需要关心后台发生了怎么样的请求下面对具体操作步骤进行详述。 创建webdriver对 ...
分类：
其他好文 时间：
2017-06-05 10:21:46
阅读次数：
418
本实例实现了抓取淘宝网中以‘python’为关键字的搜索结果，经详细查看数据存储于html文档中的js脚本中，数据类型为JSON 通过浏览器相关工具发现捧腹网笑话页面的数据存储在HTML页面而非json数据中，因此可以直接使用soup.select()方法来抓取数据，具体实现代码如下： ...
分类：
编程语言 时间：
2017-05-29 19:09:54
阅读次数：
287
Python 与 mysql 数据连接 用pymysql 基本操作大概就这样这次爬取的是淘宝商品页面 过程就略了放代码 可以看到所需要的数据已经存入数据库了 ...
分类：
数据库 时间：
2017-05-27 10:45:47
阅读次数：
314
转自https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。 业务问题描述： 淘宝商品 ...
分类：
其他好文 时间：
2017-04-29 20:01:30
阅读次数：
448
最新项目中有展示类似淘宝商品详情的功能，主要实现 向上拉查看详情，百度一搜，发现有大神已经实现这个效果了 http://blog.csdn.net/zhongkejingwang/article/details/38656929 写的很棒。用2个ScrollView 实现上拉查看详情的功能 可是发如 ...
分类：
其他好文 时间：
2017-04-17 13:20:24
阅读次数：
309
在学过正则表达式后，跟着老师实战了下“淘宝商品比价定向爬虫”和“股票数据定向爬虫”这两个。 一开始我想了下，思路好迷糊，不好从哪下手。在看了老师的教程后，才慢慢的理解了。下面是代码与效果 淘宝商品比价定向爬虫： 下面是效果： 股票数据定向爬虫： 效果的话先放这个吧，爬取时间有点慢 ...
分类：
其他好文 时间：
2017-03-22 01:11:10
阅读次数：
324
自从写了第一个sina爬虫，便一发不可收拾。进入淘宝评论爬虫正题： 在做这个的时候，也没有深思到底爬取商品评论有什么用，后来，爬下来了数据。觉得这些数据可以用于帮助分析商品的评论，从而为用户选择商品提供一定的可参考数据。 找评论所在真实url:有了前面爬搜狗图片的经验，面对找资料的url这件事，找他 ...
分类：
编程语言 时间：
2017-03-17 14:20:11
阅读次数：
566
一、URL分析 通过对“Python机器学习”结果抓包分析，有两个无规律的参数：_ksTS和callback。通过构建如下URL可以获得目标关键词的检索结果，如下所示： https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_k ...
分类：
编程语言 时间：
2016-12-22 00:14:30
阅读次数：
834
通过前一节得出地址可能的构建规律，如下： https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1481814489094_902&callback=jsonp903&q=Python%E6%9C%BA%E5%99% ...
分类：
编程语言 时间：
2016-12-16 01:38:02
阅读次数：
894
http://erehmi.cnblogs.com/ 所有电商APP的商品详情页面几乎都是和淘宝的一模一样(见下图): 采用上下分页的模式 商品基本参数 & 选购参数在上页展示 商品图文详情等其他信息放在下页展示 知识要点 实现思路 END. http://erehmi.cnblogs.com/ ...
分类：
移动开发 时间：
2016-09-23 21:20:41
阅读次数：
234
