spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就 ...
分类：
其他好文 时间：
2018-09-30 20:01:05
阅读次数：
377
一、BeautifulSoup BeautifulSoup简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档 ...
分类：
其他好文 时间：
2018-09-30 12:44:43
阅读次数：
241
（一）简介 今天，我们将对爬虫的基础知识做一个基本的梳理，以便大家掌握爬虫的基本思路，爬虫即为网络资源数据获取，用一句话概括就是： 请求网站并提取数据的自动化程序 爬虫的基本流程分为四步： 在第一二步Request和Response是爬虫的获取阶段比较重要的两个概念，我们来仔细看一下： （二）Req ...
分类：
其他好文 时间：
2018-09-23 12:01:09
阅读次数：
220
IO类 C++的输入输出分为三种： (1)基于控制台的I/O (2)基于文件的I/O (3)基于字符串的I/O istringstream类 描述：从流中提取数据，支持 >> 操作 这里字符串可以包括多个单词，单词之间使用空格分开 输出结果： 举例2：把一行字符串放入流中，单词以空格隔开。之后把一个 ...
分类：
编程语言 时间：
2018-09-16 16:10:15
阅读次数：
142
AJAX入门 听了方老师的课程，配上了阮一峰阮老师的 "教程" 食用，整理记录一些使用AJAX所需的知识点。 什么是AJAX Asynchronous JavaScript and XML 的缩写，指的是通过 JavaScript 的异步通信，从服务器获取 XML 文档从中提取数据，再更新当前网页的 ...
分类：
Web程序 时间：
2018-09-11 22:30:33
阅读次数：
190
Beautiful Soup是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式，本节就来了解下它的安装方式。 1. 相关链接 官方文档：https://www.crummy.com/software/BeautifulSoup/bs ...
分类：
编程语言 时间：
2018-09-11 16:18:40
阅读次数：
183
一、sysfs简介1.sysfs就是利用VFS的接口去读写kobject的层次结构，建立起来的文件系统。其更新与删除是那些xxx_register()/unregister()做的事 情。从sysfs中读写就相当于从kobject层提取数据。每当新增一个kobject结构时，就会在sysfs中增加一 ...
分类：
其他好文 时间：
2018-09-02 20:12:54
阅读次数：
267
1.什么是爬虫？请求网站并提取数据的自动化程序（让程序替你去上网） 2.爬虫的基本流程（1）向服务器发起请求（2）获取网页内容（3）解析内容（4）保存数据 3.什么是request和response请求与响应：浏览器与服务器（也是一台计算机）之间的交流。 4.request中包含了什么？（1）请求方 ...
分类：
其他好文 时间：
2018-08-25 19:58:12
阅读次数：
198
ELK简介“ELK”是三个开源项目的首字母缩写：Elasticsearch，Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是一个服务器端数据处理管道，它同时从多个源中提取数据，对其进行转换，然后将其发送到像Elasticsearch这样的“存储”。Kibana允许用户使用Elasticsearch中的图表和图形可视化数据。ELK原理在所有需要收集日
分类：
其他好文 时间：
2018-08-24 00:31:30
阅读次数：
298
ELK简介“ELK”是三个开源项目的首字母缩写：Elasticsearch，Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是一个服务器端数据处理管道，它同时从多个源中提取数据，对其进行转换，然后将其发送到像Elasticsearch这样的“存储”。Kibana允许用户使用Elasticsearch中的图表和图形可视化数据。ELK原理在所有需要收集日
分类：
其他好文 时间：
2018-08-22 10:22:16
阅读次数：
222
