背景 部门（东方IC、图虫）业务驱动，需要搜集大量图片资源，做数据分析，以及正版图片维权。前期主要用node做爬虫(业务比较简单，对node比较熟悉)。随着业务需求的变化，大规模爬虫遇到各种问题。python爬虫具有先天优势，社区资源比较齐全，各种框架也完美支持。爬虫性能也得到极大提升。本次分享从基 ...
分类：
编程语言 时间：
2018-05-11 20:02:06
阅读次数：
185
NGINX按天生成日志文件的简易配置 0x01 最近后端童鞋遇到一个小需求，拆分nginx生成的log文件，最好是按天生成，看着她还有很多bug待改的状态，我说这个简单啊，我来吧。曾经搞node后端的时候，这些东西都so easy的，我还记得当时用log4js，几行配置文件就能搞定，现在就算是直接配 ...
分类：
其他好文 时间：
2018-05-11 15:37:09
阅读次数：
215
Kafka集群管理、状态保存是通过zookeeper实现，所以先要搭建zookeeper集群 zookeeper集群搭建 一、软件环境： zookeeper集群需要超过半数的的node存活才能对外服务，所以服务器的数量应该是2*N+1，这里使用3台node进行搭建zookeeper集群。 1. 3台 ...
分类：
其他好文 时间：
2018-05-11 14:31:35
阅读次数：
232
1、测试NodeJs是否安装成功 node --version npm -v 配置node的可执行文件路径到环境变量path 2、安装相关环境 npm install express -g npm install jade -g npm install mysql -g npm install -g ...
分类：
Web程序 时间：
2018-05-11 14:30:25
阅读次数：
203
首先是下载一个node.js安装包。目前就下最新的吧。（下载最新版本可能要降版本），然后安装cnpm的淘宝镜像。安装之前建议参阅npm的安装机制。 本文档参考自：Jinkey原创Vue2.0 新手完全填坑攻略，gh254172840的博客 如果你是最新版本会报错： npm WARN deprecat ...
hdfs haddop distributed system 由 name node， secondary name node，data node, client 组成。真正存放数据的就是 data node, 而 name node 则是主要进行进行 data node管理的。一个 name no ...
分类：
其他好文 时间：
2018-05-11 13:06:49
阅读次数：
133
注意??：process为nodejs内置对象，不需要实例化，改模块用来与当前进程进行互动，可以通过全局变量process访问，它是一个EventEmitter对象的实例。 process对象提供一系列属性，用于返回系统信息。 process.pid：当前进程的进程号。 process.versio ...
分类：
Web程序 时间：
2018-05-11 12:59:09
阅读次数：
158
PM2是一个node.js的进程管理器,（并且呢在应用程序的生产运行时自带负载均衡的这种操作，很厉害）； --> pm2主要解决的问题是kill node进程时无法正常停止的问题。 主要特征： 简单高效的流程管理（启动/停止/重启/删除/显示/监控） 通过自动重启和初始化系统脚本生成，让您的应用始终 ...
分类：
其他好文 时间：
2018-05-11 12:50:19
阅读次数：
140
Aws丢失密钥处理文档流程：新开备用node1实例，下载密钥xx.pem,新实例处于停止状态1.实例备用node2由于系统重装丢失密钥停止EC2实例备用node22.Detach备用node2（断开cdnbest-node相对应的卷）实例的Volume（卷）3.把备用node2实例的Volume（卷），Attach（连接）到别的EC2新实例备用node14.修改authorized_keys以后，
分类：
其他好文 时间：
2018-05-11 10:49:16
阅读次数：
1906
位置：node_modules\react-scripts\config修改：
分类：
移动开发 时间：
2018-05-11 10:39:15
阅读次数：
459
