随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。一、负载均衡技术负载均衡集群是由一组相互独立的计算机系统构成,通过常规网络或专用网络进行连接,由路由器衔...
分类:
数据库 时间:
2015-01-29 17:26:28
阅读次数:
217
日志字段格式:
id,ip,url,ref,cookie,time_stamp
把日志文件放到HDFS。仅取了1000行。
hadoop fs -put 1000_log hdfs://localhost:9000/user/root/input
计算PV。
scala> val textFile = sc.textFile("hdfs://localhost:9000/user/ro...
分类:
其他好文 时间:
2015-01-28 14:41:15
阅读次数:
421
角色QA:测试人员RD:开发人员BI:数据分析师PD:需求人员UED:交互设计ttid:用来统计数量。随着业务线的增加, 及每个业务的扩展, 为统计不同渠道下单量, 会为每个渠道申请一个ttid, 使用订单信息查询可以确认最终下单的ttid是否正确埋点测试:检查埋点数据正确性,埋点作用于PV、UV、...
分类:
其他好文 时间:
2015-01-27 16:15:31
阅读次数:
205
PS:Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件,本人都在多个项目中实施过,参考了一些资料,结合自己的一些使用经验,总结一下。
一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析,如果是中小型的Web应用,比如日PV小于1000万,用Nginx就完全可以了;如果机器不少,可以用DNS轮询,LVS所耗费的机器还是比较多的...
分类:
其他好文 时间:
2015-01-23 20:10:22
阅读次数:
187
背书随着大数据的到来,经常听到相关的词汇,维度、指标、BI、PV、UV等等,如果不知道啥意思,不好意思出来混呀,今天我整理了这些词汇,可以让大家快速融入相关话题。DWDW是Data Warehouse的缩写,即数据仓库。数据仓库大都存储在各种数据库中。DW要区别于普通数据库,数据仓库用于支持决策,面...
分类:
其他好文 时间:
2015-01-23 10:59:15
阅读次数:
192
打开include\taglib\channelartlist.lib.php找到[php]view plaincopyprint?$pv->Fields['typeurl']=GetOneTypeUrlA($typeids[$i]);在此行代码下方增加以下代码:[php]view plaincop...
分类:
其他好文 时间:
2015-01-20 22:10:31
阅读次数:
130
老男孩教育第三关课后实战考试题练习:请统计老男孩老师的博客http://oldboy.blog.51cto.com/博客每小时所有用户访问的pv数量(统计样本5个小时以上)。要求:老男孩20-21期的学生必答题,其他期可眩也欢迎linux初学网友们参与解答,高手请绕过。考试题提示:1、没思路的,可以..
分类:
Web程序 时间:
2015-01-20 10:36:15
阅读次数:
234
使用hadoop 进行页面的pv uv 计算
不推荐的做法
将访问者的cookie放在hashmap中进行去重计算uv,因为当访问量大时,会将hashmap撑爆,报出
java.lang.OutOfMemoryError: Java heap space
推荐做法:
使用textpair 将cookie作为second key 进行排序,在reduce中进行判断,如果上一个co...
分类:
其他好文 时间:
2015-01-18 11:55:00
阅读次数:
224
来源:http://blog.csdn.net/column/details/mobilebackend.html?page=1做了3年app相关的系统架构,api设计,先后在3个创业公司中工作,经历过手机网页端,android客户端,iphone客户端,现在从事日pv过5千万的云后端开发。其中的乐...
分类:
移动开发 时间:
2015-01-17 13:54:21
阅读次数:
320
1,扩容已有lvm 上的lv1.1 新建pv --> pvcreate /dev/sd*1.2 把新增的pv添加到lvm -->vgextend vg_ruiy /dev/sd*1.3 查看添加pv后的lvm --> vgdisplay -v vg_ruiy1.4 扩容lv --> lvexten....
分类:
其他好文 时间:
2015-01-17 12:27:10
阅读次数:
235