工作年限:8 年服务公司:4 家(含四大门户中的两家)最近职业:Java 架构师职场关键词:社交平台、高并发系统架构设计、技术团队管理、多款从零到一的产品城市! 六年间,这位职人呆过四大门户中的两家,完成了工程师到架构师的蜕变。经手多款从零到一产品的开发和增长,也经历国内最大社交平台亿级流量和用户的 ...
分类:
编程语言 时间:
2018-08-14 14:38:00
阅读次数:
156
自从16年之后,因为工作原因,项目中就没有再使用oracle了,最近最近支持一个项目,又要开始负责这块事情了。最近在跑性能测试,配置全部调好之后,不少sql还存在性能低下的问题,主要涉及执行计划的不合理,以及相关pga隐含参数的优化。可能因为几年不接触的原因,略微有些生疏需要review了。这里以最 ...
分类:
数据库 时间:
2018-08-05 00:44:09
阅读次数:
213
从全局来看,对比公有云和私有云的同期数据,公有云市场的增速仍然是很快的,只是私有云并未随着公有云的增长而衰退。再进一步分析,云的形态其实在中国整个软件和信息技术服务市场所占的比重还非常小(百亿级 VS 万亿级)。 这意味着,不管公有云还是私有云,都还有很大的增长空间。事实上,云的增速在整个软件和信息 ...
分类:
其他好文 时间:
2018-08-01 18:17:10
阅读次数:
131
进群:125240963 即可获取数十套PDF或者零基础入门教程一套哦! Pandas的数据类型 这里我们从csv文件中读取到了数据,并将他们存入了dataframe中。我们只需要调用read_csv函数并将csv文件的路径作为函数参数即可。header关键字告诉Pandas这些数据是否有列名,在哪 ...
分类:
其他好文 时间:
2018-07-29 16:26:18
阅读次数:
177
人工智能包括三个要素:算法,计算和数据。人工智能算法目前最主流的是深度学习。计算所对应的硬件平台有:CPU、GPU、FPGA、ASIC。由于移动互联网的到来,用户每天产生大量的数据被入口应用收集:搜索、通讯。我们的QQ、微信业务,用户每天产生的图片数量都是数亿级别,如果我们把这些用户产生的数据看成矿 ...
分类:
其他好文 时间:
2018-07-19 21:20:47
阅读次数:
183
个推专注为开发者们提供消息推送服务多年。通过个推SDK,手机终端与服务器建立长连接,维持在线状态。然而在网络异常等情况下,消息无法实时送达到终端用户,因而推送服务器建立了一份离线消息列表,以待用户重新登录时,进行消息的下发。这部分数据存储在个推Redis集群,整个集群包括主从共百余个实例,key的数量在10亿级别,存储空间在T级别,带来了一定的维护成本和运维挑战。作为个推的后端开发工程师,我们也一
分类:
数据库 时间:
2018-07-18 15:16:46
阅读次数:
275
阶段一、单机构建网站 网站的初期,我们经常会在单机上跑我们所有的程序和软件。此时我们使用一个容器,如tomcat、jetty、jboos,然后直接使用JSP/servlet技术,或者使用一些开源的框架如maven+spring+struct+hibernate、maven+spring+spring ...
分类:
Web程序 时间:
2018-07-17 22:14:10
阅读次数:
204
加字段是痛苦的,需要对表进行重建,尤其是对亿级别的大表,虽然Online DDL可以避免锁表,但如果在主库上执行耗时30分钟,那么再复制到从库上执行,主从复制就出现延迟。使用instant ADD COLUMN特性,只需弹下烟灰的时间,字段就加好了,享受MongoDB那样的非结构化存储的灵活方便。限制1、如果指定了AFTER,字段必须是在最后一列,否则会重新建立表2、不适用于ROW_FORMAT
分类:
数据库 时间:
2018-07-10 18:29:34
阅读次数:
299
数据源为mysql,目标介质为elasticsearch。 1、 我们能利用的资源 1.1 源数据模型 源库是别人(库存)的数据,分为A,B,C三种类型的库存模型,需要将三种类型的模型整合成一中通用库存模型方便我方(商家)做业务。典型的互联网企业是协作方式,通过数据副本实现业务之间的解耦。 1.2 ...
分类:
数据库 时间:
2018-07-09 22:01:31
阅读次数:
248
高并发也算是这几年的热门词汇了,尤其在互联网圈,开口不聊个高并发问题,都不好意思出门。高并发有那么邪乎吗?动不动就千万并发、亿级流量,听上去的确挺吓人。但仔细想想,这么大的并发与流量不都是通过路由器来的吗? >>>>0x00 一切源自网卡 高并发的流量通过低调的路由器进入我们系统,第一道关卡就是网卡 ...
分类:
其他好文 时间:
2018-07-09 11:00:45
阅读次数:
168