原文第3章 抽象工厂模式(Abstract Factory)场景我们的系统要同时支持两个数据库
SqlServer 跟Oracle数据库
并且不同的环境要进行随时切换。看下面的代码:12345678910111213141516171819202122232425262728293031323334...
分类:
其他好文 时间:
2014-05-12 09:12:03
阅读次数:
295
架 构 描 述
01、数据层,数据源,有形资源入库,无形资源整理,对外搜索引擎,对内平台搜索,数据类型(文字、图片、声音、视频、组合),数据时空优化,数据安全方案(数据进站关卡,数据出战关卡),数据并发方案,大数据分...
分类:
其他好文 时间:
2014-05-12 05:14:11
阅读次数:
413
开发网站时,经常需要网站中有上传文件的功能,上传文件的功能有两种:将文件名称保存到数据库,文件保存到服务器指定位置;将文件直接保存到数据库中 该方法介绍
将文件以二进制的形式保存到数据库中 (可以保存word文档,记事本文本,图片,压缩包……) if (this.Fi...
分类:
数据库 时间:
2014-05-12 00:40:15
阅读次数:
325
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
#pragma pack (n) /*指定按n字节对齐*/ 不写这句默认n =8
设真正的对齐长度为m字节
如果n>结构体中数据类型(包括类类型)长度最大的数据类型长度,m = 结构体中最大数据类型长度
否则 m = n
总之,真正的对齐长度m为指定对齐长度n与结构体中最大类型长度中的较小值。
规则:
1. 结构体变量的首地址能够被m所整除;
2. 结构体每个...
分类:
其他好文 时间:
2014-05-11 13:32:36
阅读次数:
299
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
1 Lambda架构介绍
Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类:
其他好文 时间:
2014-05-11 07:29:44
阅读次数:
419
作者余凯,百度技术副总监,千人计划国家特聘专家。贾磊,百度主任架构师,语音技术负责人。陈雨强,百度商务搜索部资深研发工程师,负责搜索广告 CTR 预估
摘要:深度学习带来了机器学习的新浪潮,推动“大数据+深度模型”时代的来临,以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度...
分类:
其他好文 时间:
2014-05-11 07:27:45
阅读次数:
389
1、下载Scala
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
tar xvzf scala-2.10.3.tgz -C /usr/local
2、下载Spark
wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类:
其他好文 时间:
2014-05-11 02:06:21
阅读次数:
368
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类:
其他好文 时间:
2014-05-11 01:07:23
阅读次数:
298