经过几天的学习，今天终于完成了首都之窗的数据爬取，现在进行一下总结： 首都之窗的爬取我进行里两步： 一，使用selenium模拟浏览器翻页，爬取列表页上的信息，主要是各个详情页的url（详细说明请看上篇博客) spider.py 1 # -*- coding: utf-8 -*- 2 import ...
分类：
其他好文 时间：
2020-02-08 00:04:06
阅读次数：
66
时间：2020.2.6 今天把昨天做到一半的首都之窗百姓信件爬取完成了。 源码如下： 1 import requests 2 import io 3 from bs4 import BeautifulSoup 4 #信1705-1 赵路仓 5 kv = {'user-agent': 'Mozilla ...
分类：
编程语言 时间：
2020-02-07 01:24:07
阅读次数：
110
使用句子中出现单词的Vector加权平均进行文本相似度分析虽然简单，但也有比较明显的缺点：没有考虑词序且词向量区别不明确。如下面两个句子：“北京的首都是中国”与“中国的首都是北京”的相似度为1。“学习容易”和“学习困难”的相似度很容易也非常高。为解决这类问题，需要用其他方法对句子进行表示，LSTM是... ...
分类：
其他好文 时间：
2020-02-04 14:11:31
阅读次数：
99
（一）图论 1.大臣的旅费 很久以前，T王国空前繁荣。 为了更好地管理国家，王国修建了大量的快速路，用于连接首都和王国内的各大城市。 为节省经费，T国的大臣们经过思考，制定了一套优秀的修建方案，使得任何一个大城市都能从首都直接或者通过其他大城市间接到达。 同时，如果不重复经过大城市，从首都到达每个大 ...
分类：
其他好文 时间：
2020-02-01 14:40:07
阅读次数：
68
日期：2020.01.25 博客期：133 星期六 【代码说明，如果要使用此页代码，必须在本博客页面评论区给予说明】 //博客总体说明 1、准备工作 2、爬取工作 3、数据处理 4、信息展示（本期博客） 大年初一，先给大家说声“过年好”！嗯~说说今天写的部分，因为今天过大年嘛，也没有写什么特别难的东 ...
分类：
编程语言 时间：
2020-01-25 11:45:26
阅读次数：
113
日期：2020.01.24 博客期：132 星期五 好了今天是除夕，先给大家说句吉利话，“祝大家打代码代代顺利，码码成功”！我因为回家了，今天没做太多东西... ...呼~ 登录虚拟机，启动hadoop和hive，准备做数据处理部分！ //建数据库的语句 create table govdata( ...
分类：
编程语言 时间：
2020-01-24 18:44:16
阅读次数：
85
日期：2020.01.23 博客期：131 星期四 如果想要看到前面的铺垫，请看第130期博客！ 【本博客的代码如若要使用，请在下方评论区留言，之后再用（就是跟我说一声）】 我试着改写了一下爬虫脚本，试着运行了一下，第一次卡在了第27页，因为第27页有那个“投诉”类型是我没有料到的！出于对这个问题的 ...
分类：
编程语言 时间：
2020-01-23 09:46:23
阅读次数：
131
日期：2020.01.22 博客期：130 星期三 【代码说明，如果要使用此页代码，必须在本博客页面评论区给予说明】 今天来说一说爬取的工作进展，我们的要求是爬取首都之窗的信件类型，那么我们就开始吧！ 首先，先找到网页：http://www.beijing.gov.cn/hudong/hdjl/co ...
分类：
编程语言 时间：
2020-01-22 19:54:11
阅读次数：
80
随着昨天美国对伊朗三号人物实施斩首行动，“第三次世界大战”一度登上推特热搜榜。 随着美国首都华盛顿进入紧急状态，要求伊拉克境内的美方公民立即撤出。伊朗也已经下令伊朗全国哀悼3天，并誓言“罪犯”将遭到严厉的报复。伊朗驻联合国代表则表示，美国杀害苏莱马尼无异于发动战争。 全世界屏息以待，看伊朗在三天的官 ...
分类：
其他好文 时间：
2020-01-06 09:23:16
阅读次数：
85
1. 韩国首尔将安装AI摄像机进行犯罪侦查 韩国政府声称，具有人工智能（AI）软件的相机可以在一年之内安装在首尔。韩国首都瑞草区和国家研究所电子与电信研究所（ERTI）表示，他们将在 7 月之前在该地区安装 3,000 台摄像机。摄像机将使用 AI 软件处理路人的位置，时间和行为模式，以衡量犯罪发生 ...
分类：
其他好文 时间：
2020-01-03 19:32:59
阅读次数：
131
