scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征： ? 分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 ? 分布 ...
分类：
其他好文 时间：
2019-08-27 00:57:04
阅读次数：
85
前段时间，领导要求出一个关键字提取的微服务，要求轻量级。 对于没写过微服务的一个小白来讲。硬着头皮上也不能说不会啊。 首先了解下公司目前的架构体系，发现并不是分布式开发，只能算是分模块部署。然后我需要写个Boot的服务，对外提供一个接口就行。 在上网浏览了下分词概念后，然后我选择了Gradle & ...
分类：
其他好文 时间：
2019-07-05 12:48:44
阅读次数：
784
在分布式开发中，锁是线程控制的重要途径。Java为此也提供了2种锁机制，synchronized和lock。做为Java爱好者，自然少不了对比一下这2种机制，也能从中学到些分布式开发需要注意的地方。 我们先从最简单的入手，逐步分析这2种的区别。 一、synchronized和lock的用法区别 sy ...
分类：
编程语言 时间：
2019-05-17 16:39:20
阅读次数：
129
大三的时候就想写博客了，结果拖到研二快结束才开通博客，这拖延症也是没谁了!!! 真正刺激到我的是，最近找实习，辛苦了一个月一个offer也没有，感觉到作为菜鸡的无奈 互联网寒潮，菜鸡水里泡，大佬岸上笑。 这段时间每天都很焦虑，晚上睡的不踏实，总在思考未来，思考有没有未来。 将死之人总会回顾往事，绝望 ...
分类：
其他好文 时间：
2019-04-15 00:18:45
阅读次数：
161
分布式：针对一个大的项目，需要很多人员合作，但是一个大的项目 如果很多人一起开发，就会特别乱，可以把这个项目拆分成很多个小项目，例如一个商城的项目：可以拆分成订单系统，会员系统，支付系统等。然后公司成员，自己完成自己的系统模块，然后所有的模块 最后完成了，则这个项目就完成了 这就可以看成分布式开发， ...
分类：
其他好文 时间：
2019-03-07 14:15:06
阅读次数：
157
scrapy-redis 简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 特征 分布式爬取 可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布式数据处理 爬取 ...
分类：
其他好文 时间：
2019-02-11 10:51:42
阅读次数：
220
最近想研究一下分布式开发，先拿了akka.net 跑一下性能参考自己写个网络实现，一般在本机通讯，300M每秒的传输率，作为参考嗯，先说结果，用Akka.net直接发bytearray，最后也只有40M每秒的传输率。所以高性能场合不适用。另外akka.net remote 有个小小的问题Akka.n... ...
分类：
Web程序 时间：
2019-01-19 00:03:31
阅读次数：
220
疯狂创客圈 Java 分布式聊天室【 亿级流量】实战系列之 25【 "博客园 总入口" 】 @[toc] 写在前面 ? 大家好，我是作者尼恩。目前和几个小伙伴一起，组织了一个高并发的实战社群【疯狂创客圈】。正在开始 高并发、亿级流程的 IM 聊天程序 学习和实战 ? 前面，已经完成一个高性能的 Ja ...
分类：
其他好文 时间：
2019-01-06 01:07:01
阅读次数：
245
使用Cat断断续续将近两周的时间，感觉它还算是很轻量级的。文档相对来说薄弱一些，没有太全面的官方文档（官方文档大多是介绍每个名词是什么意思，界面是什么意思，部署方面比较欠缺）；但是好在有一个非常活跃的群，群里有很多经验丰富的高手，不会的问题基本都能得到解答。下面就开始步入正题吧，本篇主要讲述一下如何利用Cat进行分布式的调用链追踪。分布式开发基础在最开始网站基本都是单节点的，由于业务逐渐发展，使用
分类：
其他好文 时间：
2018-12-27 15:13:20
阅读次数：
155
王璞，数人云CEO及创始人，为美国George Mason大学计算机博士，擅长分布式计算、大规模机器学习、海量数据处理。曾担任 Google 广告部门数据平台构架师，负责管理每秒访问量全球最高的架构平台。数人云技术团队具备丰富的互联网应用架构经验，大型分布式系统经验，特别是 PaaS 领域的经验。 ...
分类：
其他好文 时间：
2018-12-26 16:53:46
阅读次数：
152
