1.1.1.读取文本数据 spark应用可以监听某一个目录，而web服务在这个目录上实时产生日志文件，这样对于spark应用来说，日志文件就是实时数据 Structured Streaming支持的文件类型有text，csv，json，parquet ●准备工作 在people.json文件输入如下 ...
分类：
其他好文 时间：
2019-09-11 09:27:19
阅读次数：
137
#nao { width: 100px; height: 200px; font-weight:bold;">#fff; border: 1px;} <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>畅销书排行榜< ...
分类：
其他好文 时间：
2019-09-04 21:31:39
阅读次数：
105
[toc] 近期开始学习python爬虫，熟悉了基本库、解析库之后，决定做个小Demo来实践下，检验学习成果。 1 本篇目标 抓取猫眼电影总排行榜Top100电影单 根据电影演员表统计演员上榜次数 2 url分析 目标站点为 ，打开之后就可以看到排行榜信息，如图所示 页面上显示10部电影，有名次、影 ...
分类：
编程语言 时间：
2019-09-04 11:50:37
阅读次数：
163
更多内容，欢迎关注微信公众号：全菜工程师小辉。公众号回复关键词，领取免费学习资料。 应用场景 缓存系统：用于缓解数据库的高并发压力 计数器：使用Redis原子操作，用于社交网络的转发数，评论数，粉丝数，关注数等 排行榜：使用zset数据结构，进行排行榜计算 实时系统：使用Redis位图的功能实现布隆 ...
分类：
其他好文 时间：
2019-09-04 10:00:37
阅读次数：
80
关于爬取猫眼排行榜的教程网上可以说是烂大街了，因此感谢那些踩坑的前辈，我又再次把你们的坑在踩了一次，手动哭泣 这是我的思路： 得到网页url——爬取网页源代码——使用正则表达式分析网页——写入TXT文件 得到网页url，这没得说 爬取网页源代码 正则分析网页源码，这里踩了一个坑，正则表达式忘记添加了 ...
分类：
其他好文 时间：
2019-09-02 20:59:55
阅读次数：
94
使用Redis 对问题下的回答按点赞数排序的思路; 1根据问题id查出所有的回答列表; 2吧回答的ids添加到zset1中; key为id,value为赞的数量;(用于点赞排行); //批量添加 Long add(K var1, Set<ZSetOperations.TypedTuple<V>> v ...
分类：
编程语言 时间：
2019-08-30 11:51:47
阅读次数：
1220
[TOC] 文件的类型 什么是文件？ 一堆.py/.txt 存储着文字信息文件， 文件的分类 二进制文件：由0、1组成，例如.png文件 文本文件：由单一特定编码组成的文件，如utf8，例如 .txt文件 文件的打开与关闭 文件处理的三个步骤 打开（找到路径打开） | 打开模式 | 描述 | | : ...
分类：
其他好文 时间：
2019-08-27 19:05:39
阅读次数：
111
在测试app应用时，会考虑到手机端的兼容性测试，那么怎么选择机型呢？ Android和iOS是分开的： 1、Android手机：一般需要覆盖，手机品牌、Android系统、手机分辨率、手机CPU芯片、CPU芯片架构 Android手机品牌：oppo、vivo、华为、荣耀、小米、魅族、三星、金立、乐视 ...
分类：
移动开发 时间：
2019-08-24 23:02:30
阅读次数：
392
本软件尊重并保护所有使用服务用户的个人隐私权。为了给您提供更准确、更有个性化的服务，本软件会按照本隐私权政策的规定使用和披露您的个人信息。但本软件将以高度的勤勉、审慎义务对待这些信息。除本隐私权政策另有规定外，在未征得您事先许可的情况下，本软件不会将这些信息对外披露或向第三方提供。本软件会不时更新本 ...
分类：
其他好文 时间：
2019-08-21 12:16:58
阅读次数：
57
基于requests模块发起ajax的get请求 需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据 用抓包工具捉取 使用ajax加载页面的请求 鼠标往下下滚轮拖动页面，会加载更多的电影信息，这个局部刷新是当前页面发起的ajax请求， 用抓包工具捉取页面 ...
分类：
编程语言 时间：
2019-08-20 01:23:58
阅读次数：
133
