```
# 抓取《我不是药神》的豆瓣评论 import csv
import time
import requests
from lxml import etree fw = open('douban_comments.csv', 'w')
writer = csv.writer(fw)
write... ...
分类:
其他好文 时间:
2019-05-04 11:38:42
阅读次数:
117
说明 五一将至,又到了学习的季节。目前流行的各大书单主打的都是豆瓣8.0评分书籍,却很少有人来聊聊这9.0评分的书籍长什么样子。刚好最近学了学python爬虫,那就拿豆瓣读书来练练手。 爬虫 本来思路是直接爬豆瓣的书籍目录,将评分9.0以上的书筛选出来,一打开发现事情并不简单,几千万本书可不好爬 = ...
分类:
编程语言 时间:
2019-04-30 20:17:38
阅读次数:
178
目前,大厂的服务范围越来越广,提供的数据信息也是比较全的,在生活服务,办公领域,人工智能等方面都全面覆盖,相对来说,他们的用户基数大,通过用户获取的信息也是巨大的。除了百度提供api,国内提供免费API获取数据的还有很多,包括新浪、豆瓣电影、饿了么、阿里、腾讯等今天使用百度地图API来请求我们想要的 ...
分类:
Windows程序 时间:
2019-04-30 12:18:37
阅读次数:
1480
功能描述: 爬取豆瓣电影排行top250 使用的库 1、time 2、json 3、requests 4、BuautifulSoup 5、RequestException 上机实验室: 补充说明: 1、 ...
分类:
其他好文 时间:
2019-04-27 19:32:47
阅读次数:
506
一、写在前面 最近复仇者联盟4正在热映中,很多人都去电影院观看了电影,那么对于这部电影,看过的人都是怎么评价的呢?这时候爬虫就可以派上用场了! 二、主要思路 首先打开豆瓣电影,然后进入复仇者联盟4的详情页面:https://movie.douban.com/subject/26100958/,下拉页 ...
分类:
编程语言 时间:
2019-04-27 13:12:40
阅读次数:
196
尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0 浏览器打开该地址: 发现是这样的 在这里我们需要用j ...
分类:
编程语言 时间:
2019-04-20 10:10:38
阅读次数:
174
技术交流 "CSDN论坛" IT技术交流平台 "C语言中文社区" "javafm.com" Java中文社区 "Go语言中文网" Golang中文社区 "Rust语言中文社区" "今日头条技术博客" 写作投稿 "写手之家" ,找约稿,找找写手,最专业的编辑写手交流平台 "豆瓣稿费银行" :征稿 兼职 ...
分类:
其他好文 时间:
2019-04-15 18:23:04
阅读次数:
163
目前问题: 1.爬虫爬到十七条数据后,就不进行了,处于等待状态,咱不知道问题所在 2.采用selenium爬虫,由于涉及到页面加载,十分缓慢,个人倾向于ajax技术。#from bs4 import BeautifulSoup import re, csv, urllib.request, urll... ...
分类:
其他好文 时间:
2019-04-09 09:29:04
阅读次数:
199
1 # -*- coding:utf-8 -*- 2 ''' 3 抓取豆瓣电影某部电影的评论 4抓取电影 5 网址链接:https://movie.douban.com/subject/26630781/comments 6 为了抓取全部评论需要先进行登录 7 ''' 8 from selenium ...
分类:
编程语言 时间:
2019-04-06 12:41:16
阅读次数:
265