分布式爬虫系统设计、实现与实战:爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储
分类:
移动开发 时间:
2018-04-02 21:14:21
阅读次数:
284
幂等概念来自数学,表示N次变换和1次变换的结果是相同的。这里讨论在某些场景下,客户端在调用服务没有达到预期结果时,会进行多次调用,为避免多次重复的调用对服务资源产生副作用,服务提供者会承诺满足幂等。 举个栗子,双十一零点刚过,小明就迫不及待地点击提交订单按钮,选择在线支付,点了确认支付按钮,这时候网 ...
分类:
其他好文 时间:
2018-03-29 20:10:09
阅读次数:
175
每年“双 11”都是一场电商盛会,消费者狂欢日。今年双 11 的意义尤为重大,它已经发展成为全世界电商和消费者都参与进来的盛宴。而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运维工具、人员等。 一次成功的大促准备不光是针对活动本身对系统和架构做的优化措施,比如:流量 ...
分类:
其他好文 时间:
2018-03-22 17:36:19
阅读次数:
184
“平京战役”一发布使本来就热闹的电商促销大战呛出了火药味,也为双11的大促增添了许多谈资,更让消费者享受到实实在在的优惠。而在技术上这种竞争则温和许多。 技术上的压力来源于业务的需求。苏宁阿里战略合作后,易购赢得了社会的广泛关注,系统的流量在苏宁的传统促销节8.18显现出来;加上苏宁的双11销售目标 ...
分类:
其他好文 时间:
2018-03-21 13:59:51
阅读次数:
258
简介 “简单却不失优雅,小巧而不乏大匠”。 2016年最火的前端框架当属Vue.js了,很多使用过vue的程序员这样评价它,“vue.js兼具angular.js和react.js的优点,并剔除了它们的缺点”。授予了这么高的评价的vue.js,也是开源世界华人的骄傲,因为它的作者是位中国人–尤雨溪( ...
分类:
其他好文 时间:
2018-03-20 12:51:11
阅读次数:
186
一、前言 双十一刚过不久,大家都知道在天猫、京东、苏宁等等电商网站上有很多秒杀活动,例如在某一个时刻抢购一个原价1999现在秒杀价只要999的手机时,会迎来一个用户请求的高峰期,可能会有几十万几百万的并发量,来抢这个手机,在高并发的情形下会对数据库服务器或者是文件服务器应用服务器造成巨大的压力,严重 ...
分类:
其他好文 时间:
2018-03-16 00:26:06
阅读次数:
200
以《淘宝网》为例,描绘质量属性的六个常见属性场景。 1、可用性分析 可用性分析所关注的方面包括:如何检测系统故障,系统故障发生的频度,出现故障时会发生什么情况,允许系统有多长时间非正常运行,什么时候可以安全地出现故障,如何防止故障的发生以及发生故障时要求进行哪种通知。 场景:双十一时期导致淘宝用户猛 ...
分类:
其他好文 时间:
2018-03-15 19:54:38
阅读次数:
176
以淘宝为例进行软件质量属性分析 1.可用性分析: 所关注的方面包括系统故障发生的频率、出现故障时会发生什么情况、允许系统有多长是将非正常运行、什么时候可以安全地出现故障、如何防止故障的发生以及发生故障时要求进行哪种通知。 场景设想:淘宝双十一活动时很多用户同时访问,系统出现崩溃 刺激源:太多的用户同 ...
分类:
其他好文 时间:
2018-03-15 19:24:50
阅读次数:
154
1.可用性: 场景:双十一购物狂欢,海量用户同时使用系统。 2.可修改性: 3.性能分析: 性能反应的是系统的响应能力。性能与时间有关。事件(中断、消息、用户请求或时间已到)发生时,系统必须对其做出响应。也就是说,性能衡量软件系统及时提供相应服务的能力,表现在三个方面,速度、吞吐量和持续高速性。 场 ...
分类:
其他好文 时间:
2018-03-15 19:20:23
阅读次数:
129
《淘宝网》质量属性分析 以《淘宝网》为例,描述质量属性的留个常见属性场景 ①可用性:主要关注怎么检测故障、出现故障的现象、防止故障发生以及如何处理故障等等 场景:双十一双十二购物用户大量增加,同时访问系统 场景部分 值 刺激源 系统外部的用户 刺激 大量用户同时发出的响应 制品 系统的处理器 环境 ...
分类:
其他好文 时间:
2018-03-15 11:20:50
阅读次数:
175