一、业务说明
使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。
二、为什么使用Hadoop(开发动机)
现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源...
分类：
数据库 时间：
2015-02-05 20:34:11
阅读次数：
280
在项目管理非常重要的挣值管理，有一些关键项，像PV,EV,AC,BAC,EAC,ETC等等这些都是关键项，如果这个没分清楚，计算出很多东西都是错的，下面两个图是我一个项目快要完成的报表。图1图2 先看图1中的[当前规划] [实际] [剩余]，这三项是什么意思呢？他们分别就是BAC,AC，剩余是...
分类：
其他好文 时间：
2015-02-04 20:20:20
阅读次数：
230
网站的信息安全越来越重要，结合自己1年多的互联网金融方面的安全防护做些总结。后续希望研究并运用：1、加密算法2、DDOS的防护技巧3、跨站点请求伪造4、XSS攻击5、文件上传漏洞6、信息垃圾过滤网站已持续运作1年半有余，从最初的零星访问到1天近w的pv量，还有各种的ddos攻击，让原本不太富裕的主机...
分类：
其他好文 时间：
2015-02-03 21:20:24
阅读次数：
189
在实际做压力测试的过程中，我们有时不知道用怎样的并发量比较好，下面是几个用PV量去确定并发量的公式，这个在我们公司是比较适用的，大家可以根据自己的业务进行运算。 方法一：这个方法是我在网上查到的80-20原则，具体运算方法为： X*0.8/（8*60*60*0.2） 说明：...
分类：
其他好文 时间：
2015-02-02 14:08:06
阅读次数：
91
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库：可以降低单...
分类：
数据库 时间：
2015-01-30 17:38:05
阅读次数：
244
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低...
分类：
数据库 时间：
2015-01-30 14:41:33
阅读次数：
276
一、理解UV贴图
UVs是驻留在多边形网格顶点上的两维纹理坐标点，它们定义了一个两维纹理坐标系统，称为UV纹理空间，这个空间用U和V两个字母定义坐标轴。用于确定如何将一个纹理图像放置在三维的模型表面。
本质上，UVs是提供了一种模型表面与纹理图像之间的连接关系，UVs负责确定纹理图像上的一个点（像素）应该放置在模型表面的哪一个顶点上，由此可将整个纹理都铺盖到模型上。如果没有UVs，多边...
分类：
编程语言 时间：
2015-01-30 10:48:04
阅读次数：
303
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。一、负载均衡技术负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，由路由器衔...
分类：
数据库 时间：
2015-01-29 17:26:28
阅读次数：
217
刚刚遇到个奇怪的问题，被采样的tex是对的 显示出来了，采样结果是错误的。就跟什么都采似的。首先有了被sample的tex说明IA 对了VS PS都建立起来了我看了ps汇编， 对的看了uv的memory，对的tex也是对的----------------后来想到要看samplestate及其它各种s...
分类：
其他好文 时间：
2015-01-28 19:28:54
阅读次数：
156
日志字段格式：
id,ip,url,ref,cookie,time_stamp
把日志文件放到HDFS。仅取了1000行。
hadoop fs -put 1000_log hdfs://localhost:9000/user/root/input
计算PV。
scala> val textFile = sc.textFile("hdfs://localhost:9000/user/ro...
分类：
其他好文 时间：
2015-01-28 14:41:15
阅读次数：
421
