日志字段格式：
id,ip,url,ref,cookie,time_stamp
把日志文件放到HDFS。仅取了1000行。
hadoop fs -put 1000_log hdfs://localhost:9000/user/root/input
计算PV。
scala> val textFile = sc.textFile("hdfs://localhost:9000/user/ro...
分类：
其他好文 时间：
2015-01-28 14:41:15
阅读次数：
421
角色QA：测试人员RD：开发人员BI：数据分析师PD：需求人员UED：交互设计ttid:用来统计数量。随着业务线的增加, 及每个业务的扩展, 为统计不同渠道下单量, 会为每个渠道申请一个ttid, 使用订单信息查询可以确认最终下单的ttid是否正确埋点测试：检查埋点数据正确性，埋点作用于PV、UV、...
分类：
其他好文 时间：
2015-01-27 16:15:31
阅读次数：
205
LVM（LogicalVolumeManager）基本操作：fdisk/dev/sdbmkfs-ext3/dev/sdb1pvcreate/dev/sdb1vgcreatevgname/dev/sdb1lvcreate-L10G-nlvnamevgnameresize2fs/dev/vgname/lvnamemkdir/appvim/etc/fstab/dev/vgname/lvname/appext3default00mount-a扩容vg和lvpvcreate/dev/sdcvgext..
分类：
其他好文 时间：
2015-01-26 17:28:47
阅读次数：
162
PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。
一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的...
分类：
其他好文 时间：
2015-01-23 20:10:22
阅读次数：
187
Centos文本方式安装情况下lvm分区的创建有些时候,安装centos,会进入文本方式下,而不是进入图形方式.原来一直认为在文本方式下作lvm分区会有限制(记得rhel官方文档里面也这么说.)昨天,在linux系统管理区看到一个讨论,亲自做了一下实验,验证了可以在文本方式下创建lvm分区并且文本安...
分类：
其他好文 时间：
2015-01-23 13:04:05
阅读次数：
262
背书随着大数据的到来，经常听到相关的词汇，维度、指标、BI、PV、UV等等，如果不知道啥意思，不好意思出来混呀，今天我整理了这些词汇，可以让大家快速融入相关话题。DWDW是Data Warehouse的缩写，即数据仓库。数据仓库大都存储在各种数据库中。DW要区别于普通数据库，数据仓库用于支持决策，面...
分类：
其他好文 时间：
2015-01-23 10:59:15
阅读次数：
192
linux LVM分区查看dm设备在linux中iostat -d查看磁盘状态时,有的会有如下dm-0,dm-1的条目.Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtnsda 0.19 0.57 2.92 ...
分类：
系统相关 时间：
2015-01-22 14:49:59
阅读次数：
185
linux LVM分区查看dm设备在linux中iostat -d查看磁盘状态时,有的会有如下dm-0,dm-1的条目.Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtnsda 0.19 0.57 2.92 ...
分类：
系统相关 时间：
2015-01-22 12:35:52
阅读次数：
220
打开include\taglib\channelartlist.lib.php找到[php]view plaincopyprint?$pv->Fields['typeurl']=GetOneTypeUrlA($typeids[$i]);在此行代码下方增加以下代码：[php]view plaincop...
分类：
其他好文 时间：
2015-01-20 22:10:31
阅读次数：
130
老男孩教育第三关课后实战考试题练习：请统计老男孩老师的博客http://oldboy.blog.51cto.com/博客每小时所有用户访问的pv数量（统计样本5个小时以上）。要求：老男孩20-21期的学生必答题，其他期可眩也欢迎linux初学网友们参与解答，高手请绕过。考试题提示：1、没思路的，可以..
分类：
Web程序 时间：
2015-01-20 10:36:15
阅读次数：
234
