大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一 ...
分类：
编程语言 时间：
2020-06-30 14:26:14
阅读次数：
46
一、linux参考网址 1、Linux工具快速教程 2、Bash 脚本教程 3、鳥哥的 Linux 私房菜 4、Linux命令大全(手册) 5、The Linux Kernel API 6、Linux man page 7、 二、C语言学习参考网址 1、Linux C一站式学习 2、Linux C一 ...
分类：
系统相关 时间：
2020-06-30 13:07:44
阅读次数：
94
cnblogs.com/fellow1988/p/6212676.html 看了个大概 Platform是一种虚拟总线，Platform机制将设备本身的资源注册进内核，有内核统一管理，在驱动程序使用这些资源时使用统一的接口，这样提高了程序的可移植性。 Linux的大部分设备驱动都可以使用platfo ...
分类：
其他好文 时间：
2020-06-30 11:22:05
阅读次数：
64
遇到的问题： 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车 ...
分类：
其他好文 时间：
2020-06-29 21:28:22
阅读次数：
66
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver import ActionChains import time driver=webdrive ...
分类：
其他好文 时间：
2020-06-29 17:01:23
阅读次数：
79
# 该方法用来确认元素是否存在，如果存在返回flag=true，否则返回false def isElementExist(self,element): flag=True try: driver.find_element_by_css_selector(element) return flag ex ...
分类：
其他好文 时间：
2020-06-29 11:57:42
阅读次数：
141
Shell简介 Shell 是一个 C 语言编写的脚本语言，它是用户与 Linux 的桥梁，用户输入命令交给 Shell 解释处理Shell 将相应的操作传递给内核（Kernel），内核把处理的结果输出显示到屏幕给用户. Shell分为两类 图形界面 Shell（GUI Shell） GUI为 Un ...
分类：
系统相关 时间：
2020-06-29 09:52:07
阅读次数：
67
在jsp中获取数据库数据 <% Class.forName("com.mysql.jdbc.Driver");//加载mysql驱动 Connection conn=DriverManager.getConnection("jdbc:mysql://localhost:3306/test1", "r ...
分类：
数据库 时间：
2020-06-29 09:37:42
阅读次数：
71
使用fio测试 安装 # yum install fio -y 编译安装 # wget https://brick.kernel.dk/snaps/fio-3.20.tar.gz # tar xfz fio-3.20.tar.gz cd fio-3.20 # ./configure # make # ...
分类：
系统相关 时间：
2020-06-28 22:28:35
阅读次数：
91
搭建php-fpm apache nginx 环境 docker-compose.yml文件 networks: net: driver: bridge ipam: config: - subnet: 192.138.0.0/16 services: apache: container_name: ...
分类：
其他好文 时间：
2020-06-28 18:24:12
阅读次数：
69
