主要内容 1. 协同过滤思想2. 推荐系统架构3. 推荐系统流程4. 推荐系统处理数据流程。5. python 文件预处理 Hive 数据。6. dubbo 服务使用。 一、协同过滤 协同过滤（Collaborative Filtering）技术，是推荐系统中应用最为广泛的技术之一，协同过滤算法主要 ...
分类：
其他好文 时间：
2020-11-30 15:32:24
阅读次数：
7
在我们的工作中，经常会遇到系统或模块重构工作，今天就来聊一聊我曾经经历过的一次系统重构经历。 01 背景? 重构发生的背景是，原有的系统架构采用all-in-one的方式，随着业务的快速发展，用户访问量急剧上升，系统请求流量成倍增长，陆续出现了各种问题。当时的系统架构的示意图如下 02 痛点 当时遇 ...
分类：
其他好文 时间：
2020-11-25 12:11:05
阅读次数：
4
负载均衡是高可用网络基础架构的的一个关键组成部分，有了负载均衡，我们通常可以将我们的应用服务器部署多台，然后通过负载均衡将用户的请求分发到不同的服务器用来提高网站、应用、数据库或其他服务的性能以及可靠性。为什么要引入负载均衡先看一个没有负载均衡机制的web架构：上图中的架构有什么缺陷了？首先，用户是通过网络直接和web服务器相连，想象一下，如果这个服务器挂了（这种情况随时都可能发生的)，那么用户的
分类：
其他好文 时间：
2020-11-23 12:36:15
阅读次数：
7
说到消息中间件，身在互联网的童鞋们肯定下意识的就是高并发，高性能io调度等浮现在脑海，但是对应用来说，可能他的作用远不止性能这么简单，尤其是对与交易，金融打交道的业务平台来说。ok,下面给大家介绍一下金融交易平台中，哪些场景是需要我们用到消息中间件的？为什么要使用？怎么设计中间件私有云让开发比较爽？（鉴于不同同学语言擅长不相同，这里只聊设计原理和机制方面的内容，本文会涉及市面上流行的开源产品，如a
分类：
其他好文 时间：
2020-11-23 12:35:40
阅读次数：
7
一、什么是高并发高并发（HighConcurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间（ResponseTime），吞吐量（Throughput），每秒查询率QPS（QueryPerSecond），并发用户数等。响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这
分类：
其他好文 时间：
2020-11-18 13:05:25
阅读次数：
6
ServiceMesh(3)前篇：《ServiceMesh究竟解决什么问题》《什么是Istio，ServiceMesh最流行落地》Istio是ServiceMesh的产品化落地：它帮助微服务之间建立连接，帮助研发团队更好的管理与监控微服务，并使得系统架构更加安全它帮助微服务分层解耦，解耦后的proxy层能够更加专注于提供基础架构能力，例如：（1）服务发现(discovery)（2）负载均衡(loa
分类：
其他好文 时间：
2020-11-16 13:59:09
阅读次数：
12
ServiceMesh(2)上一篇介绍了《ServiceMesh究竟解决什么问题？》，当微服务架构体系越来越复杂的时候，需要将“业务服务”和“基础设施”解耦，将一个微服务进程一分为二：一个进程实现业务逻辑，biz，即上图白色方块一个进程实现底层技术体系，proxy，即上图蓝色方块，负载均衡、监控告警、服务发现与治理、调用链…等诸多基础设施，都放到这一层实现如此解耦之后：biz不管是调用服务，还是提
分类：
其他好文 时间：
2020-11-16 13:58:44
阅读次数：
12
最近留言问“高可用”的朋友颇多，找历史文章又找不到，故重新优化发布，希望大家有收获。一、什么是高可用高可用HA（HighAvailability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目
分类：
其他好文 时间：
2020-11-16 13:56:35
阅读次数：
7
架构师之路年终总结（五）-缓存篇缓存是互联网系统架构中必不可少的一环，之前花大精力系统性的写了10篇，缓存架构设计相关的文章，欢迎回顾。1.《进程内缓存究竟怎么玩？》缓存，可以分为：进程内缓存，缓存服务。文章介绍了：（1）什么是进程内缓存（2）进程内缓存的优缺点（3）进程内缓存保存一致性的3种方案（4）到底什么时候用进程内缓存文章也说明，大部分业务场景，不应该用进程内缓存，而应该用缓存服务，而如今
分类：
其他好文 时间：
2020-11-16 13:54:20
阅读次数：
5
本文源自今年系统架构师大会，我在会上分享《数据库工程架构实践》的前3页PPT，数据库架构设计中的一些基本概念。画外音：会上分享了近4个小时，见《十年》。所有概念均以“用户中心”举例。画外音：这是一个提供用户注册、登录、信息查询与修改的常见业务。一、单库架构单库架构，是业务初期最常见的数据库架构。user-service：用户中心服务，对调用者提供友好的RPC接口user-db：一个库进行数据存储二
分类：
数据库 时间：
2020-11-10 11:35:42
阅读次数：
61
