目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干 ...
分类：
其他好文 时间：
2021-03-17 14:25:54
阅读次数：
0
基本开发环境： ·Python3.6 ·Pycharm 相关模块使用： import requests import time 目标网页分析： 选择一个影视栏目，F12或者鼠标右键检查，打开开发者工具，选择network，下滑网页 https://haokan.baidu.com/videoui/a ...
分类：
编程语言 时间：
2021-03-17 14:20:20
阅读次数：
0
# 图片爬取 import re import urllib import urllib.request def gethtml(url): page=urllib.request.urlopen(url) html=page.read() return html def getimg(html): ...
分类：
编程语言 时间：
2021-03-16 14:08:34
阅读次数：
0
安全术语 撞库：撞库攻击指的是黑客通过收集互联网上已泄露的用户账户信息，生成对应的字典表，再利用部分用户相同的注册习惯（即使用相同的用户名和密码），尝试登陆其它的网站或应用，以获取新的可利用账户信息。 爬虫：爬虫又称为网页蜘蛛，是一种按照既定规则，自动抓取网络上的指定信息的程序或脚本，可分为遍历爬取 ...
分类：
其他好文 时间：
2021-03-16 13:53:33
阅读次数：
0
python爬取网站表格：本文使用了BeautifulSoup和requests包解析地震网站公开数据，并了解网页html结构信息，最终获取最终想要的数据。 ...
分类：
编程语言 时间：
2021-03-15 11:05:34
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
4.代码展示： - 爬虫文件： class WangyiSpider(RedisSpider): name = 'wangyi' #allowed_domains = ['www.xxxx.com'] start_urls = ['https://news.163.com'] def __init_ ...
分类：
其他好文 时间：
2021-03-10 13:00:28
阅读次数：
0
课程链接：https://aistudio.baidu.com/aistudio/course/introduce/11939?directly=1&shared=1 从整体的视角来看，深度学习模型解决问题的要点，可以近似总结为：数据、模型、优化方法。 数据处理 要处理图像分类问题，首先就要了解“图 ...
分类：
其他好文 时间：
2021-03-09 13:42:42
阅读次数：
0
思考 scrapy 为什么是框架而不是库？ scrapy 是如何工作的？ Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群：1039649593 项目结构 在开始爬取之前，必须创建一个新的 ...
分类：
编程语言 时间：
2021-03-09 13:15:09
阅读次数：
0
##Selector对象 Scrapy综合bs（beautifulSoup）和lxml两者优点实现了Selector类,它是基于lxml库构建的,并简化了API接口。在Scrapy中使用Selector对象提取页面中的数据,使用时先通过XPath或CSS选择器选中页面中要提取的数据,然后进行提取。 ...
分类：
其他好文 时间：
2021-03-09 13:07:42
阅读次数：
0
