本人19本科应届生,专注Java后台学习,已签腾讯WXG的offer(日后转c++)。 众所周知,鹅厂后台一直以C++为重,面试官也是做C++开发。但是语言只是工具,对代码的理解才是核心。面试时重点考察的是基础知识,以及解题的思考过程。凭借着对Java的理解去回答,也受到了面试官的认可,最终幸运的拿 ...
分类:
编程语言 时间:
2020-07-04 13:20:38
阅读次数:
77
curl http://localhost:6800/schedule.json -d project=default -d spider=somespider shell 命令请求转换为python 请求: request.post('http://localhost:6800/schedule. ...
分类:
其他好文 时间:
2020-07-03 00:38:20
阅读次数:
54
图灵学院 java架构师学习路线 微服务的九大特性 特性一:组件化与多服务 软件开发一直以来都有一个梦想:像搭积木一样来构建应用,尽可能的模块化、组件化,方便可更换可升级的目的。 一个组件就是一个可以独立更换和升级的软件单元。 在微服务架构之前,构建单体应用之时,大家也是朝这个目标努力,一个很好的例 ...
分类:
其他好文 时间:
2020-07-02 21:46:56
阅读次数:
64
CrawlSpider类,Spider的一个子类 - 全站数据爬取的方式 - 基于Spider:手动请求 - 基于CrawlSpider - CrawlSpider的使用: - 创建一个工程 - cd XXX - 创建爬虫文件(CrawlSpider): - scrapy genspider -t ...
分类:
其他好文 时间:
2020-06-30 22:33:57
阅读次数:
52
分布式爬虫 - 概念:我们需要搭建一个分布式的机群,让其对一组资源进行分布联合爬取。 - 作用:提升爬取数据的效率 - 如何实现分布式? - 安装一个scrapy-redis的组件 爬取到的数据自动存放在redis中 - 原生的scarapy是不可以实现分布式爬虫,必须要让scrapy结合着scra ...
分类:
其他好文 时间:
2020-06-30 22:22:17
阅读次数:
58
对于Java开发者来说,Spring肯定是一个避不开的技术。所以准备系统的学下Spring框架。 我给自己设计的学习路线是这样的:首先阅读下Spring的官方文档(注意Spring官网上有很多项目,Spring的基础框架是Spring FrameWork这个项目),记录我认为重要的内容,方便后续回顾 ...
分类:
编程语言 时间:
2020-06-30 16:04:55
阅读次数:
87
大数据的时代,网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了,它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容,它像一张大网一样把现在一些主流的技术栈都连接在了一 ...
分类:
编程语言 时间:
2020-06-30 14:26:14
阅读次数:
46
源代码: import requests path = "D:\abc.jpg" #用\或/(老师用的)存疑 r.encoding = r.apparent_encoding kv = {'user-agent':'Mozilla/5.0'} url = "见列表" r = requests.get ...
分类:
编程语言 时间:
2020-06-29 15:37:10
阅读次数:
77
静态网页 抓取实例: import requests from bs4 import BeautifulSoup def gettop250(): headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKi ...
分类:
Web程序 时间:
2020-06-29 13:27:33
阅读次数:
45
import re import requests from bs4 import BeautifulSoup from openpyxl import Workbook from openpyxl.styles import Alignment requests:网页爬取的第三方库 re:内容解析 ...
分类:
编程语言 时间:
2020-06-29 13:22:06
阅读次数:
66