使用python3的requests库快速获取豆瓣图书推荐的新书清单,并保存书籍信息和图书缩略图图片到本地#!/usr/bin/envpython#-*-coding:utf-8-*-"""@author:AikerZhao@file:douban3.py@time:上午10:34"""importjsonimportosimportrefrommultiprocessingimportPooli
分类:
编程语言 时间:
2019-04-02 16:49:57
阅读次数:
156
另附豆瓣技术贴:https://www.douban.com/note/315222037/ 1、php-fpm优化参数介绍他们分别是:pm、pm.max_children、pm.start_servers、pm.min_spare_servers、pm.max_spare_servers。pm:表 ...
分类:
Web程序 时间:
2019-04-02 12:22:08
阅读次数:
786
当谈论起网站时,我们可能听说过静态和动态这两个词,但却不知道它们的含义,或者从字面意思了解一些却不知道它们的区别。 这一切可以追溯到网站和网络应用程序,Web应用程序是一个网站,但很多网站不是Web应用程序,例如微博是一个网站也是一个应用程序,但像有的公司的官网是网站但不是网络应用程序。同时,也会经 ...
分类:
Web程序 时间:
2019-03-28 15:37:57
阅读次数:
180
pip换源 一下方法对pip和pip3同时起作用 永久换源 运行一下命令: 如果提示目录不存在的话,我们要自行创建一个,再进入目录 在.pip目录下创建一个pip.conf文件 编辑pip.conf文件 打开pip.conf文件窗口,将以下内容复制到文件中: 临时换源 同样以豆瓣镜像源为例,接下来我 ...
分类:
其他好文 时间:
2019-03-28 00:27:12
阅读次数:
151
阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi ...
分类:
编程语言 时间:
2019-03-24 09:22:41
阅读次数:
157
html </head> <body> <!-- 头部 --> <header class="header1"> <!-- 左侧 --> <div> <a href="#">豆瓣</a> <a href="#">读书</a> <a href="#">电影</a> <a href="#">音乐</a> ...
分类:
Web程序 时间:
2019-03-20 01:13:28
阅读次数:
191
豆瓣读书爬虫 https://github.com/lanbing510/DouBanSpider 每个程序员书柜必有的编程书籍 https://infoq.cn/article/each programmer must have programming books bookcase 文本分析了40 ...
分类:
其他好文 时间:
2019-03-18 01:18:49
阅读次数:
185
1.Scrapy框架介绍 主要介绍,spiders,engine,scheduler,downloader,Item pipeline scrapy常见命令如下: 对应在scrapy文件中有,自己增加爬虫文件,系统生成items,pipelines,setting的配置文件就这些。 items写需要 ...
分类:
编程语言 时间:
2019-03-14 00:48:22
阅读次数:
193
一.利用lxml解析 二.利用beautifulSoup解析: 1 import os 2 3 import requests 4 from bs4 import BeautifulSoup 5 6 PROXY = { 7 'HTTPS': '116.209.55.208:9999' 8 } 9 1 ...
分类:
其他好文 时间:
2019-03-10 20:41:56
阅读次数:
296
1 import requests 2 3 url = "https://movie.douban.com/cinema/nowplaying/changsha/" 4 proxy = { 5 'HTTP': '116.209.53.143:9999' 6 } 7 headers = { 8 'Us ...
分类:
其他好文 时间:
2019-03-10 20:31:45
阅读次数:
206