【Part1——理论篇】 试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。 但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。 ...
分类：
编程语言 时间：
2020-03-31 14:21:05
阅读次数：
65
Nginx 的应用场景 Nginx 的应用场景主要有三个： 静态资源服务 反向代理服务 API 服务 静态资源服务 Nginx 可以通过本地文件系统提供静态资源的服务，例如纯静态的 HTML 页面等。 反向代理服务 很多应用服务的运行效率是很低的，QPS，TPS，并发等都是受限的，所以需要把很多应用 ...
分类：
其他好文 时间：
2020-03-30 09:50:41
阅读次数：
58
通信的基础知识： 为了研究某条信道所能够传输数据的最大能力（极限数据传输率），有两条基本的定理。 1. 奈氏准则（理想信道下的极限码元传输率） 理想低通（无噪声、带宽有限）的信道中，极限码元传输率为 2W 波特。W 为带宽，单位 HZ。因此，理想低通信道中的极限数据传输速率 = 2Wlog2N， N ...
分类：
其他好文 时间：
2020-03-29 19:35:04
阅读次数：
146
（1）Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 1）HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 2）MapRedu ...
分类：
其他好文 时间：
2020-03-28 17:42:52
阅读次数：
69
一、Linux权限的概念 Linux下有两种用户：普通用户和超级用户：普通用户：在linux下做有限的事情； 超级用户：可以在linux系统下做任何事情，不受限制。 普通用户的提示符是“$”,超级用户的命令提示符是“#”。 命令： su [用户名] 功能：切换用户 Linux权限管理 1.文件访问者 ...
分类：
系统相关 时间：
2020-03-28 14:58:41
阅读次数：
109
Java第二章 1. 标识符由字母数字下划线和美元符号组成，长度不受限 ； 第一个字符不是数字字符 ； 不能是关键字 ； 标志不能是 true false null；区分大小写 （中文可以作为变量名） 2. java的基本数据类型有8种分别 为：booleam、byte、short、char、int ...
分类：
编程语言 时间：
2020-03-28 13:51:21
阅读次数：
80
sudo 通过sudo，我们能把某些超级权限有针对性的下放，并且不需要普通用户知道root密码（sudo用的不是root密码，而是当前用户密码），所以sudo相对于权限无限制性的su来说，还是比较安全的，所以sudo也能被称为受限制的su，另外sudo是需要授权许可的，所以也被称为授权许可的su。 ...
分类：
系统相关 时间：
2020-03-26 19:30:29
阅读次数：
135
大数据时代，营销推广的主要依据就是大数据：根据大数据去抓取用户习惯，去抓取竞争对手的信息，却或许同类产品的相关资料等等。数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个
分类：
其他好文 时间：
2020-03-25 19:18:27
阅读次数：
79
大数据时代，营销推广的主要依据就是大数据：根据大数据去抓取用户习惯，去抓取竞争对手的信息，却或许同类产品的相关资料等等。数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个
分类：
其他好文 时间：
2020-03-25 18:52:59
阅读次数：
62
# Rust异步网络编程 Rust的高性能异步网络编程模式目前是基于mio和futures这两个库构建的生态。 Tokio则连接这2个库构建了一个异步非阻塞事件驱动编程平台。 # 什么是 mio,futures,tokio ## 1- Mio Mio是Rust的轻量级快速低级IO库，专注于非阻塞AP ...
分类：
其他好文 时间：
2020-03-24 23:17:09
阅读次数：
80
