码迷,mamicode.com
首页 > 编程语言 > 详细

Python爬虫常用库的安装及其环境配置

时间:2018-08-29 21:27:05      阅读:339      评论:0      收藏:0      [点我收藏+]

标签:文件名   后台运行   app   driver   user   red   ons   row   必须   

Python常用库的安装

  • urllib、re           这两个库是Python的内置库,直接使用方法import导入即可。
  • requests            这个库是请求的库。我们需要使用执行文件pip3来进行安装。文件处于C:\Python36\Scripts下,我们可以先将此路径设为环境变量。在命令行中输入pip3 install requests进行安装。安装完成后进行验证。
    >>> import requests
    >>> requests.get(http://www.baidu.com)
    <Response [200]>
  • selenium           实际上是用来浏览器的一个库,做爬虫时可能会碰到使用JS渲染的网页,使用requests来请求时,可能无法正常获取内容,我们使用selenium可以驱动浏览器获得渲染后的页面。也是使用pip3  install selenium安装。进行验证。
    >>> import selenium
    >>> from selenium import webdriver
    >>> driver = webdriver.Chrome()
    
    DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910
    >>> driver.get(http://www.baidu.com)

    上述命令可以直接打开chrome浏览器,并且打开百度。但是,在这之前我们必须安装一个chromedriver,并且安装googlchrome浏览器,可自行去官网下载。当我们安装完毕后再运行这些测试代码可能依旧会出现一闪而退的情况,那么问题出在,chrome和chromdriver的版本不兼容,可以在官网下载chrome更高的版本,或者chromedriver更低的版本,但是只要都是最高版本就没问题。

  • phantomjs         是一个无界面浏览器,在后台运行。可在官网自行下载。并且需要将phantomjs.exe  的所在目录设为环境变量。测试代码。
    >>> from selenium import webdriver
    >>> driver = webdriver.PhantomJS()
    >>> driver.get(http://www.baidu.com)
    >>> driver.page_source
    <!DOCTYPE html><!--STATUS OK--><html><head>\n 
  • lxml           使用pip3 install lxml安装。
  • beautifulsoup      是一个网络解析库,依赖于lxml库。使用pip3安装。必须安装pip3 install beautifulsoup4,因为beautifulsoup已经停止维护了。安装验证。
    >>> from bs4 import BeautifulSoup
    >>> soup = BeautifulSoup(<html></html>,lxml)
    >>>

     

  • pyquery       也是网页解析库,较bs4更加方便,语法和Jquery无异。也是使用pip3 安装。
    >>> from pyquery import PyQuery as pq   #将其重命名
    >>> doc = pq(<html></html>)
    >>> doc = pq(<html>hello world</html>)
    >>> result = doc(html).text()
    >>> result
    hello world
  • pymysql      是一个操作mysql数据库的库。使用pip3 安装。
    >>> import pymysql
    >>> conn = pymysql.connect(host=localhost,user=root,password = 123456,port=3306,db=mysql)
    >>> cursor = conn.cursor()
    >>> cursor.execute(select * from db)
    0

     

  • pymongo      操作数据库MongoDB的库。需要开启MongoDB服务,在计算机管理当中的服务寻找。也是使用pip3安装。
    >>> import pymongo
    >>> client = pymongo.MongoClient(localhost)
    >>> db = client[newtestdb]
    >>> db[table].insert({name:tom})
    ObjectId(5b868ee4c4d17a0b2466f748)
    >>> db[table].find_one({name:tom})
    {_id: ObjectId(5b868ee4c4d17a0b2466f748), name: tom}
    >>> #完成了单条数据的查询
  • redis       一个非关系型数据库,运行效率高。使用pip3 install redis安装。
    >>> import redis
    >>> r = redis.Redis (localhost,6379)
    >>> r.set(name,tom)
    True
    >>> r.get(name)
    btom
    >>> #是一个byte型数据类型
  • flask       做代理时可能会用到。使用pip3 安装。详细内容可以在flask官网查看flask文档。
  • django     是一个web服务器框架,提供了一个完整的后台管理,引擎、接口等,可以使用它做一个完整的网站。可在django的官网查看文档。使用pip3 install django安装。
  • jupyter       可以理解为一个记事本,运行哎网页端,可以进行写代码,调试,运行。在官网可以下载jupyter,也可以用pip3 安装,相关库非常多,安装比较久。安装后可以在命令行直接运行jupyter notebook,因为此文件在scrips目录下。
    C:\Users\dell>jupyter notebook
    [I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port.
    [I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell

    技术分享图片

    可以在选项  new   中建立新python3文件,并且可以编写代码。技术分享图片

    默认的文件名为unite,此处将其改为testDemo,使用快捷键ctrl+回车 运行,按键B跳转至新的编辑行。

Python爬虫常用库的安装及其环境配置

标签:文件名   后台运行   app   driver   user   red   ons   row   必须   

原文地址:https://www.cnblogs.com/dadahuan/p/9556706.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!