从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类:
其他好文 时间:
2014-05-05 13:10:34
阅读次数:
463
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476
VB/C#.Net实体代码生成工具(EntitysCodeGenerate)【ECG】是一款专门为.Net数据库程序开发量身定做的(ORM框架)代码生成工具,所生成的程序代码基于OO、ADO.NET、分层架构、ORM及反射+工厂设计模式等。支持.Net1.1及以上版本,可用于Oracle、SqlServer、Sybase、DB2、MySQL、Access、SQLite、PostgreSQL、DM(达梦)、PowerDesigner文件、Informix、Firebird、MaxDB、Excel等和OleDb...
分类:
Web程序 时间:
2014-05-04 00:13:17
阅读次数:
658
Layer 和Tier都是层,但是他们所表现的含义不同,Tier指的是软件系统中物理上的软件和硬件,具体指部署在某服务器上,而Layer(逻辑层)指软件系统中完成特定功能的逻辑模块,逻辑概念。...
分类:
其他好文 时间:
2014-05-03 23:53:39
阅读次数:
429
python中流程控制与函数编写
Last Eidt 2014/5/2...
分类:
编程语言 时间:
2014-05-03 17:17:00
阅读次数:
442
Twitter出道之初只是个奋斗在RoR上的小站点,而如今已拥有1.5亿的活跃用户,系统日传输tweet更多达4亿条,并已完成了以服务为核心的系统架构蜕变。
Twitter如今在世界范围内已拥有1.5亿的活跃用户,为了给用户生成timeline(时间轴)需支撑30万QPS,其firehose每秒同样生成22MB数据。整个系统每天传输tweet 4亿条,并且只需要5分钟就可以让一条tweet从Lady Gaga手中呈现到她3100万粉丝的屏幕上。当下Twitter系统的规模及强大的吞吐量确实惹人艳羡,然而在出...
分类:
其他好文 时间:
2014-05-03 16:49:26
阅读次数:
361
实现:
/***************************************
数组的顺序表示和实现
by Rowandjj
2014/5/2
----------------
不管是多少维的数组,在内存中都是线性存储的,
数组中每个元素都对应着一个物理地址,它们之间满足一个线性的关系。
比如,3维数组,3*3*2架构,即A[3][3][2],对应常量为6,2,1
bounds ...
分类:
其他好文 时间:
2014-05-03 16:20:54
阅读次数:
269
ExchangeServer2013部署(二)先决条件及必备组件安装上文我们已经介绍了部署环境和AD架构的准备,本文进行安装邮箱服务器前的组件安装一、安装远程工具管理包;打开Powershell输入Install-WindowsFeatureRSAT-ADDS二、在Server2012安装Exchange2013所需的必备项取决于您想要安..
分类:
其他好文 时间:
2014-05-03 15:16:16
阅读次数:
526
ExchangeServer2013部署(一)环境介绍ExchangeServer2013提供了新的技术功能和服务特性;相对于之前Exchange2007和Exchange2010的5角色而言,ExchangeServer2013只包括如下的2个服务器角色:客户端访问服务器角色(CAS):该角色用于接受来自Internet的MicrosoftOfficeOutlook..
分类:
其他好文 时间:
2014-05-03 15:06:23
阅读次数:
498
linux源码升级内核当前环境:[root@localhost~]#uname-r
2.6.18-348.el5配置流程:1、准备yum库安装g++gcc[root@localhost~]#cat/etc/yum.repos.d/rh_5.9.repo
[rhel-server]
name=Redserver
baseurl=file:///misc/cd/Server
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-..
分类:
系统相关 时间:
2014-05-03 14:40:08
阅读次数:
500