import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from sele... ...
分类：
其他好文 时间：
2018-07-29 17:50:40
阅读次数：
184
作为一个资深吃货，网购各种零食是很频繁的，但是能否在浩瀚的商品库中找到合适的东西，就只能参考评论了！今天给大家分享用python做个抓取淘宝商品评论的小爬虫！ 思路 我们就拿“德州扒鸡”做为参考目标吧~！如果想抓其他商品的话，自行更换目标即可！打开淘宝，搜索目标，随便点击一个商品进入,在点击累计评论 ...
分类：
编程语言 时间：
2018-06-24 18:00:58
阅读次数：
188
配置文件，配置好数据库名称，表名称，要搜索的产品类目，要爬取的页数 主程序 ...
分类：
其他好文 时间：
2018-06-15 21:44:08
阅读次数：
190
1.搜索关键词：利用Selenium驱动浏览器，得到商品列表。 2.分析页码并翻页：得到商品页码数，模拟翻页，得到后续页面的商品列表。 3.分析提取商品内容：利用PyQuery分析源码，解析得到商品列表。 4.存储到MongoDB：将商品列表信息存储到数据库MongoDB。 可以利用PhantomJ ...
分类：
其他好文 时间：
2018-06-01 01:00:13
阅读次数：
202
一、分析目标 爬取淘宝商品评论详情 二、分析网页加载流程 目标数据是否在网页源代码中(即右键——查看源代码) 不在 目标数据在审查元素中(即右键——审查元素或f12) f12——>Network——>f5 重新加载并记录网页活动——>点击网页评论——>Name——>Preview找评论信息(scri ...
分类：
编程语言 时间：
2018-05-28 17:24:06
阅读次数：
223
1 import re 2 import requests 3 4 def getHTMLText(url): 5 try: 6 r = requests.get(url, timeout = 30) 7 r.raise_for_status() 8 r.encoding = r.apparent_... ...
分类：
其他好文 时间：
2018-05-25 19:35:41
阅读次数：
155
电商接口 京东获取单个商品价格接口: http://p.3.cn/prices/mgets?skuIds=J_商品ID&type=1 用例 ps:商品ID这么获取:http://item.jd.com/954086.html 淘宝商品搜索建议: http://suggest.taobao.com/s ...
先来看看淘宝、唯品会长按商品的效果，以及简单Demo的效果： 首先分析一下场景： 1. 遮罩的效果，我们会很容易的想到Android布局控件FrameLayout布局，是基于叠加在上方的布局。所以在列表条目布局的时候，可以使用FrameLayout布局，在长按列表条目时，用条目的根布局添加一个遮罩的 ...
分类：
移动开发 时间：
2018-05-09 20:54:18
阅读次数：
232
方法一是自己想出来的，方法二来自忘记哪里看到的了 不知道是不是你要的效果： 方法一：利用input[type="radio"] css代码： html： vue实例： 方法二：利用数组（把每一行当做数组第几个位置eg：a[1]相当于这个数组里的1，每行内选择的元素的索引为数组对应位置的元素值eg：a ...
分类：
其他好文 时间：
2018-05-09 15:07:14
阅读次数：
645
1、启动pycharm 首先咱们新建一个项目名字大家可以自己设定 接着新建一个spider.p文件 运行结果： 小伙伴们可是将其中的美食字样该为其他想要获取的淘宝商品数据尝试运行下，是不是挺有意思的，哈哈！ ...
分类：
其他好文 时间：
2018-05-06 23:28:09
阅读次数：
239
