码迷,mamicode.com
首页 >  
搜索关键字:台电脑    ( 2003个结果
【Python3爬虫】学习分布式爬虫第一步--Redis分布式爬虫初体验
一、写在前面 之前写的爬虫都是单机爬虫,还没有尝试过分布式爬虫,这次就是一个分布式爬虫的初体验。所谓分布式爬虫,就是要用多台电脑同时爬取数据,相比于单机爬虫,分布式爬虫的爬取速度更快,也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫,Redis是一种常用的菲关系型数据库,常 ...
分类:编程语言   时间:2019-08-19 09:54:32    阅读次数:118
集线器、交换机和路由器
号称网络硬件三剑客的集线器(Hub)、交换机(Switch)与路由器(Router)一直都是网络界的活跃分子,但让很多初入网络之门的菜鸟恼火的是,它们三者 不仅外观相似,而且经常待在一起,要想分清谁是谁,感觉有点难。我们一起来看看它们之间的区别和联系。 一、集线器 在认识集线器之前,必须先了解一下中 ...
分类:其他好文   时间:2019-08-18 22:14:11    阅读次数:86
java 多线程-单例模式
单例模式对外只有一个对象,对内不管,比如每台电脑都只有一个的任务管理器1、构造去私有化2、内部提供私有静态属性--存储对象的地址3、提供公共的静态方法访--获取属性publicclassmy{//2、提供私有静态属性privatevolatilestaticmyinstance;//避免new对象时指令重排//1、构造器私有化privatemy(){}//3、提供公共静态方法访问属性publics
分类:编程语言   时间:2019-08-18 18:07:41    阅读次数:118
【Python3爬虫】爬取美女图新姿势--Redis分布式爬虫初体验
一、写在前面 之前写的爬虫都是单机爬虫,还没有尝试过分布式爬虫,这次就是一个分布式爬虫的初体验。所谓分布式爬虫,就是要用多台电脑同时爬取数据,相比于单机爬虫,分布式爬虫的爬取速度更快,也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫,Redis是一种常用的菲关系型数据库,常 ...
分类:编程语言   时间:2019-08-18 11:44:04    阅读次数:79
Git复习(二)之远程仓库、注册GitHub账号、SSH警告
远程仓库 Git是分布式版本控制系统,同一个Git仓库,可以分布到不同的机器上。怎么分布呢?最早,肯定只有一台机器有一个原始版本库,此后,别的机器可以“克隆”这个原始版本库,而且每台机器的版本库其实都是一样的,并没有主次之分。 你肯定会想,至少需要两台机器才能玩远程库不是?但是我只有一台电脑,怎么玩 ...
分类:其他好文   时间:2019-08-16 00:24:04    阅读次数:108
Git复习(二)之远程仓库、注册GitHub账号、SSH警告
远程仓库 Git是分布式版本控制系统,同一个Git仓库,可以分布到不同的机器上。怎么分布呢?最早,肯定只有一台机器有一个原始版本库,此后,别的机器可以“克隆”这个原始版本库,而且每台机器的版本库其实都是一样的,并没有主次之分。 你肯定会想,至少需要两台机器才能玩远程库不是?但是我只有一台电脑,怎么玩 ...
分类:其他好文   时间:2019-08-15 19:11:32    阅读次数:124
Socker编程之UDP
一:socket简介 1. 不同电脑上的进程之间如何通信 首要解决的问题是如何唯一标识一个进程,否则通信无从谈起! 在1台电脑上可以通过进程号(PID)来唯一标识一个进程,但是在网络中这是行不通的。 其实TCP/IP协议族已经帮我们解决了这个问题,网络层的“ip地址”可以唯一标识网络中的主机,而传输 ...
分类:其他好文   时间:2019-08-07 23:02:18    阅读次数:215
Linux 网络工具netcat(nc)的应用
NETCAT netcat是Linux常用的网络工具之一,它能通过TCP和UDP在网络中读写数据,通过与其他工具结合和重定向,可以在脚本中以多种方式使用它。 netcat所做的就是在两台电脑之间建立链接并返回两个数据流,我们可以建立一个服务器,传输文件,与朋友聊天,传输流媒体或者用它作为其它协议的独 ...
分类:Web程序   时间:2019-08-05 13:35:17    阅读次数:174
Docker的基本使用
最近公司项目要用docker部署,第一次接触,记录一下,方便使用时查阅。 你有没有遇到过这种情况,在本地运行良好的代码,在另一台电脑或者另一个环境里一堆bug,可以说是水土不服,本质上是两个电脑的运行环境不一样,但是不能每次给到别人都要装一遍运行环境吧,这样很抓狂,这时候docker就横空出世来拯救 ...
分类:其他好文   时间:2019-08-04 00:54:32    阅读次数:101
scrapy-redis数据去重与分布式框架
数据去重 生成指纹:利用hashlib的sha1,对request的请求体、请求url、请求方法进行加密,返回一个40位长度的16进制的字符串,称为指纹 进队: 如果请求需要过滤,并且当前请求的指纹已经在指纹集合中存在了,就不能进入队列了 如果请求需要过滤,并且请求的指纹是一个新的指纹,进入队列 如 ...
分类:其他好文   时间:2019-08-03 21:11:24    阅读次数:75
2003条   上一页 1 ... 24 25 26 27 28 ... 201 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!