一直在学习scrapy的爬虫知识,但是遇到了动态加载页面的难题,从一开始的javascript渲染器--splash,docker服务, 遇到各种奇葩的问题： 1.docker代理设置添加无效,导致无法拉取splash镜像 2.settings.py中开启splash服务,导致无法ssl连接 然后看 ...
分类：
其他好文 时间：
2018-09-13 14:03:17
阅读次数：
249
原文：https://zhuanlan.zhihu.com/p/26308272 插入一条信息：特征编码一定要考虑是否需要距离度量，编码方式对距离度量的适应：例如：我们用one-hot编码颜色，向量正交，各个颜色之间的距离等同，如果此处用序数编码显然不太合适，但是我们用one-hot编码星期几就不好 ...
分类：
其他好文 时间：
2018-09-13 14:00:58
阅读次数：
326
一个常见的大数据平台架构 这是一个典型的大数据架构，且对架构进行了「分层」，分为「数据源层」、「数据传输层」、「数据存储层」、「编程模型层」和「数据分析层」，如果继续往上走的话，还有「数据可视化层」和「数据应用层」。 ...
分类：
其他好文 时间：
2018-09-13 10:21:55
阅读次数：
276
262144K In a world where ordinary people cannot reach, a boy named "Koutarou" and a girl named "Sena" are playing a video game. The game system of thi ...
分类：
其他好文 时间：
2018-09-13 01:18:33
阅读次数：
232
GIT常用操作命令收集： 1) 远程仓库相关命令 检出仓库：$ git clone git://github.com/jquery/jquery.git 查看远程仓库：$ git remote -v 添加远程仓库：$ git remote add [name] [url] 删除远程仓库：$ git ...
分类：
其他好文 时间：
2018-09-13 01:15:05
阅读次数：
223
题目传送门 题意：有n个人坐成一圈，每个人都戴着一个面具，面具有0-2^k-1种编号，每相邻的两个人的面具的编号的二进制表示中必须存在至少一位相同，问总共有多少种排列方法。 思路： 我们可以把这个圈从某一处裁开，使之变成一条线，令长度为n的直线上编号两两之间有相同的二进制位的排列方法为line(n) ...
分类：
其他好文 时间：
2018-09-12 23:57:11
阅读次数：
216
1、全局安装gulp cnpm install gulp -g 2、如果需要使用gulp的时候 a、cnpm init 初始化仓库 后面加 -y b、局部安装 gulp cnpm install gulp --save-dev --save：将保存配置信息至package.json -dev：保存至 ...
分类：
其他好文 时间：
2018-09-12 21:13:41
阅读次数：
253
使用 Homebrew 安装 macOS 我们可以使用 Homebrew 来安装 Docker。 Homebrew 的 Cask 已经支持 Docker for Mac，因此可以很方便的使用 Homebrew Cask 来进行安装： 在载入 Docker app 后，点击 Next，可能会询问你的 ...
分类：
系统相关 时间：
2018-09-12 21:13:21
阅读次数：
303
python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。 Python提供了multiprocessing。multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数）， ...
分类：
系统相关 时间：
2018-09-12 20:23:12
阅读次数：
269
chromedriver与chrome的的对应版整理： chromedriver驱动下载地址： http://chromedriver.storage.googleapis.com/index.html 同时提供geckodriver和iedriverserver的下载地址： geckodriver ...
分类：
其他好文 时间：
2018-09-12 18:03:25
阅读次数：
161
