java写爬虫服务,思路是线程池,任务队列,限制并行线程数即可。 go要用另一种设计思路,不能在线程层面限制,协程的异步请求,如果不作处理,并行发出所有网络请求,因网络请求数过多,会抛出异常 低版本的go可以并行执行map的操作,高版本会报异常,需要把map改为array,改起来很简单 ...
分类:
其他好文 时间:
2017-02-20 19:47:49
阅读次数:
200
(一)功能 rpc(远程函数调用)提供client端通过网络调用远程server端的函数的服务。 rpc-server端需要提供较高的吞吐能力,支持较大的并发连接。 (二)设计思路 epoll监听多个连接fd,实现IO复用 1)epoll没有最大并发连接的限制,上限是最大可以打开文件的数目,一般远大 ...
分类:
编程语言 时间:
2017-02-17 12:56:28
阅读次数:
203
之前写了一款基于Android的空空天气预报,能够查看全国各个省、市、县的未来三天的天气预报,有穿衣指数和运动指数建议; 最近准备找工作了,现在重新回顾一下思路。 主要用到的知识有解析xml技术,解析json,mvc架构。 1、首先看下界面结果; 2、代码思路 2-1 代码架构图 2-2 设计思路 ...
分类:
其他好文 时间:
2017-02-09 15:42:18
阅读次数:
268
1、TCP/IP协议概述 1.1、OSI参考模型及TCP/IP参考模型 OSI协议参考模型是基于国际标准化组织(ISO)的建议发展起来的,从上到下工分为7层:应用层,表示层,会话层,传输层,网络层,数据链路层,物理层。与此相区别的TCP/IP协议模型一开始就遵循简单明确的设计思路,它将OSI的7层参 ...
分类:
系统相关 时间:
2017-02-04 15:12:35
阅读次数:
363
效果 设计思路 需求分析 图片浏览,上/下一张,放大缩小等基本功能。可以继续拓展的功能:缩略图、旋转,画笔修改等。此外,缩放实现较为简单,所以会出现失真。设计此类软件功能可参考ACDSee或irfanview等看图软件。 知识点 1.文件过滤、文件IO:FileFilter 2.文件对话框:JFil ...
分类:
编程语言 时间:
2017-02-03 16:45:53
阅读次数:
196
要持久化的关键数据有三种 消息; 队列,队列中存放的是消息索引信息,即消息在文件中的物理位置(messageOffset)和在队列中的逻辑位置(queueOffset)的映射信息; 队列消费进度,表示当前队列中的消息消费到第几个了; 发送消息的设计 producer将消息的二进制数据发送到broke ...
分类:
其他好文 时间:
2017-01-29 21:28:53
阅读次数:
239
前言 最近用了几个月的时间,一直在对EQueue做性能优化。到现在总算告一段落了,现在把一些优化的结果分享给大家。EQueue是一个分布式的消息队列,设计思路基本和阿里的RocketMQ一致,只是是用纯C 写的,这点大家应该都知道了。 EQueue开源地址:https://github.com/ta ...
分类:
其他好文 时间:
2017-01-29 21:23:53
阅读次数:
298
软件开发流程即软件设计思路和方法的一般过程,包括设计软件的功能和实现的算法和方法、软件的总体结构设计和模块设计、编程和调试、程序联调和测试以及编写、提交程序等一系列操作。 总共分为8个步骤:需求分析、概要设计、详细设计、编码、测试、软件交付、验收、维护。 需求分析 需求分析 1.相关系统分析员向用户 ...
分类:
其他好文 时间:
2017-01-29 10:56:54
阅读次数:
185
前言 春节期间,无意中看到一篇文章,文章中讲到12306的业务复杂度远远比淘宝天猫这种电商网站要复杂。后来自己想想,也确实如此。所以,很想挑战一下12306这个系统的核心领域模型的设计。一般的电商网站,购买都是基于商品的概念,每个商品有一定量的库存,用户的购买行为是针对商品的。当用户发起购买行为时, ...
分类:
其他好文 时间:
2017-01-24 18:51:50
阅读次数:
210
理解OAuth 2.0 http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html 一、简介 OAuth是一个关于授权(authorization)的开放网络标准,在全世界得到广泛应用,目前的版本是2.0版。 本文对OAuth 2.0的设计思路和运行流 ...
分类:
其他好文 时间:
2017-01-24 17:37:52
阅读次数:
138