windows定时执行百度新闻爬虫

时间：2016-11-08 13:50:01 阅读：220 评论：0 收藏：0 [点我收藏+]

标签：oca news cut ring comm like exec header find

　　想要做个新闻文本识别分类的项目，就先写了个爬取百度新闻的爬虫。

　　环境：win7 32 bit python3.4 若干第三方库

　　可以实现的功能：定期按照百度新闻的分类抓取新闻的标题，所属类别及文本内容，并自动存入数据库（MySQL），同时发邮件到自己邮箱提醒。

　　缺陷：因新闻来源不同，网页编码不同，会出现少量的乱码现象；存入数据库未添加自动去重功能（自己手动去重其实也并不难，所以没去研究这个）

　　STEP1: creat_dbtable.py链接数据库创建表（也可直接通过操作MySQL）

# -*- coding: utf-8 -*-
"""
Created on Sun Nov  6 23:31:33 2016

@author: Administrator
"""

#数据库创建操作
import MySQLdb

#打开数据库链接
db = MySQLdb.Connect(host="localhost",user="root",passwd=‘你的密码‘,db="test",use_unicode=True, charset="utf8")

cursor = db.cursor()

#如果数据已经存在，使用excute()方法删除表
cursor.execute("DROP TABLE IF EXISTS news")

#创建数据表	SQL语句
sql = """CREATE TABLE news(
		class VARCHAR(10) NOT NULL,
		title VARCHAR(100),
		text VARCHAR(15000)
		)"""

cursor.execute(sql)

#关闭数据库连接
db.close()

　　在MySQL看到表已经生成：

技术分享

　　step2:为了了解每次的抓取情况，写一个send_email.py来实现发送邮件的功能,这个文件在spider主文件里面来调用。

　　NOTE:这个往自己的邮箱发送邮件要在相应邮箱开启服务获取一个password才可以，这个网上教程也比较多，之后有空会补充。

#coding:utf-8
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr, formataddr
import smtplib

def _format_addr(s):
    name, addr = parseaddr(s)
    return formataddr((Header(name,‘utf-8‘).encode(), addr))
def send_ms(T):
    from_addr = "1021550072@qq.com"
    password = ‘your-password‘
    to_addr = ‘1021550072@qq.com‘
    smtp_server = ‘smtp.qq.com‘
    msg = MIMEText(T, ‘plain‘, ‘utf-8‘)
    msg[‘From‘] = _format_addr(‘Anyone‘)
    msg[‘To‘] = _format_addr(‘Echo‘)
    msg[‘Subject‘] = Header(‘The New Report‘, ‘utf-8‘).encode()
    server = smtplib.SMTP_SSL(smtp_server, 465, timeout=10)
    server.set_debuglevel(0)
    server.login(from_addr,password)
    server.sendmail(from_addr, [to_addr], msg.as_string())
    server.quit()

# send_ms(T)

　　step3:创建spider.py文件，实现具体功能。

# -*- coding: utf-8 -*-
"""
Created on Sun Nov  6 21:24:27 2016

@author: Administrator
"""

import re
import time
import requests
import numpy as np
import send_email
from bs4 import BeautifulSoup
from collections import Counter
import MySQLdb

start = time.time()
#打开数据库链接

db = MySQLdb.Connect(host="localhost",user="root",passwd=‘password‘,db="test",use_unicode=True, charset="utf8")

cursor = db.cursor()


headers = {‘User-Agent‘:"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"}

# 获取首页数据head_data
def get_head_data():
    head_url = ‘http://internet.baidu.com/‘
    data = requests.get(head_url,headers=headers)
    data.encoding = ‘gbk‘
    # print(data.status_code)
    head_data = data.text
    return head_data

# 获取各新闻分类的title及href
def get_class(head_data):
    title_href = {}
    pa = re.compile(r‘<a href="(http.*?.com/).*?>.*?(\w+)</a></li>‘)
    ma = re.findall(pa,head_data)[1:-7]
    ma = list(set(ma))[:-1]
    # print(len(ma))
    for i in range(len(ma)):
        key = ma[i][1]
        value = ma[i][0]
        title_href[key] = value
    # print(title_href)
    return title_href

# 对于每个分类提取标题信息class_data
def get_class_data(class_url):

    class_data = requests.get(class_url, headers=headers)
    pa = re.compile(r‘charset=(.*?)">‘)
    charset = re.findall(pa,class_data.text)[0]
    class_data.encoding  = charset
    # class_data.encoding = ‘gbk‘
    class_data =class_data.text
    soup = BeautifulSoup(class_data, ‘lxml‘)
    data = soup.findAll(‘a‘,{‘target‘:‘_blank‘})
    class_data = {}
    for i in range(len(data)):
        title = data[i].get_text()
        href = data[i].get(‘href‘)
        if len(title) > 10:
            if not ‘下载‘ in title:
                class_data[title] = href
    return class_data

# 获取每条新闻的具体文本内容，粗略抓取
def get_news_text(href):
    try:
        data = requests.get(href,headers=headers)
        # data.encoding = ‘gbk‘
        pa = re.compile(r‘charset=(.*?)">‘)
        charset = re.findall(pa,data.text)[0]
        data.encoding  = charset
        data = BeautifulSoup(data.text,‘lxml‘).get_text()
        text = re.sub("[A-Za-z0-9\[\`\~\!\@\#\$\ \^\"\-\+\_\\&\\n\\t\*\(\)\=\|\{\}\‘\:\;\‘\,\[\]\.\<\>\/\?\~\！\@\#\\\&\*\%]", "", data)
    except:
        # print(‘get New Text fail...‘)
        text = None
        pass
    return text
	


head_data = get_head_data()
title_href = get_class(head_data)
count = 0
for class_title,class_href in dict(title_href).items():
    print(class_title)
    # try:
    class_data = get_class_data(class_href)
    # except:
    #     print(‘get Class data fail...‘)
    #     pass
    for news_title, news_url in class_data.items():
        # print(news_title)
        text = get_news_text(news_url)
        sql = """INSERT INTO news	   SET class=%s, title=%s, text=%s"""
        try:
            cursor.execute(sql,(class_title,news_title,text))
            db.commit()
            count += 1
        except:
            # print(‘Save fail...‘)
            pass

db.close()

end = time.time()
total_time = end - start

T1 = ‘本次抓取耗时%s‘%str(total_time)
T2 = ‘  &   本次共抓取%s条新闻‘%str(count)
T = T1+T2
# print(t1,t2)

send_email.send_ms(T)

　　数据库存储情况：

技术分享