你要问我新浪微博有什么技术压力。我觉得，本质上：第一，如何快速共享数据，如何快速的将newmessage在网状社区中传递开来。第二，长期大量积累下来的数据如何分布，分散储存，保证性能。数据库的横纵切分。第三，机房的多备份，多备份机房之间的同步策略。第四，业务上的实时..
分类：
其他好文 时间：
2016-07-05 22:39:28
阅读次数：
159
分布式数据并行环境下，保持数据的本地性是非常重要的内容，事关分布式系统性能高下。 概念： block ： HDFS的物理空间概念，固定大小，最小是64M，可以是128,256 。。也就是说单个文件大于block的大小，肯定会被切分，被切分的数目大概是：比如文件是250M，block是64M，就会被分 ...
分类：
其他好文 时间：
2016-07-05 13:55:58
阅读次数：
163
快速排序是一种分治的排序算法.它将一个数组分成两个子数组,将两部分独立的排序.快速排序和归并排序是互补的:归并排序将数组分成两个子数组分别排序,并将有序的子数组归并并将整个数组排序,而快速排序将数组排序的方式则是当两个子数组都有序的时候,整个数组就自然有序了,切分是快速排序中最重要的操作.这个过程使 ...
分类：
编程语言 时间：
2016-07-05 12:05:16
阅读次数：
186
万能播放插件js ckplayerhttp://www.ckplayer.com/ m3u8是m3u的一种，是utf-8格式的，Apple 为了提高流播效率开发的技术，特点是将流媒体切分为若干 TS 片段（比如每10秒一段），然后通过一个扩展的 m3u 列表文件将这些 TS 片段集中起来供客户端播放 ...
分类：
Web程序 时间：
2016-07-04 11:46:41
阅读次数：
271
统计系统内存，然后查看到占用了多少百分比。字符串的方法：a.startswith()返回的是一个bool（布尔）值。a.split()切分空格和制表符，然后返回的是一个列表。#!/usr/bin/python#coding:utf8withopen(‘/proc/meminfo‘)asfd:forlineinfd:ifline.startswith(‘MemTotal‘):total=int..
分类：
编程语言 时间：
2016-07-03 15:53:49
阅读次数：
163
MapReduce理论 1 概述 Hadoop Map/Reduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由map... ...
分类：
其他好文 时间：
2016-07-03 14:26:49
阅读次数：
188
客户端分片 程序端实现 代理proxy，访问proxy，proxy指定redis保存位置。 Twemproxy Redis cluster ,会造成一部分数据丢失，无中心化1.将数据自动切分（split）到多个节点的能力2.当集群中的一部分节点失效或者无法进行通信时，仍然可以继续处理命令请求的能力。 ...
分类：
其他好文 时间：
2016-07-01 20:05:41
阅读次数：
167
项目上用的branch管理和Git是有些问题的。 多个branch的优劣： 优点：易于团队合作、易于功能开发、方便release、开发不用经常切分支、冲突少、测试少。 缺点：管理成本高 + 维护成本高：提交+合并+验证、fixbug。 因为互联网项目迭代快，branch维护管理特别频繁，这些实际情况 ...
分类：
其他好文 时间：
2016-06-30 18:18:06
阅读次数：
110
介绍 分区是指根据一定的规则将一个大表分解成多个更小的部分，这里的规则一般就是利用分区规则将表进行水平切分；逻辑上没有发生变化但实际上表已经被拆分成了多个物理对象，每个分成被划分成了一个独立的对象。相对于没有分区的当个表而言分区的表有很多的优势包括： 并发统计查询、快速归档删除分区数据、分散存储、查 ...
分类：
数据库 时间：
2016-06-29 20:43:02
阅读次数：
173
概要：在一个大的系统当中，通常会切分成多个子系统，子系统与子系统之间可以通过微服务、http接口或者mq等来相互通讯。假设有这样一种场景，A系统需要调用B系统的f1接口，获取数据后再向前端系统输出。前端系统通常所承受的并发量是非常大的，也就是说A系统的接口需要有很高的..
分类：
其他好文 时间：
2016-06-29 13:36:36
阅读次数：
171
