码迷,mamicode.com
首页 >  
搜索关键字:大数据 spark    ( 18881个结果
MTU&MSS
MTU是Maximum Transmission Unit的缩写,意为最大传输单元,通俗的理解就是在网络上传送的最大数据包,单位是字节。 以太网对数据帧的长度都有一个限制,其最大值为1500,这个特性被称作MTU,不同类型的网络大多数都有一个上限。如果IP层有一个IP包要传,而且数据的长度比链路.....
分类:其他好文   时间:2014-08-02 01:32:22    阅读次数:1806
GraphX笔记
val graph=GraphLoader.edgeListFile(sc,"/home/spark/spark/graphx/data/followers.txt")//加载边时顶点是边上出现的点,定点默认数据是1 val users = sc.textFile("/home/spark/spark/graphx/data/users.txt").map { line=> val field...
分类:其他好文   时间:2014-08-01 23:17:12    阅读次数:323
Spark教程-构建Spark集群(2)
第二步:安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件,如下图所示:点击“Next”进入下一步: 我们选择“Custom”进入下一步;2.选择所有的功能,如下所示: 点击”Next”进入如下图所示界面: ...
分类:其他好文   时间:2014-08-01 15:56:51    阅读次数:243
大数据统计笔记
# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport jsons = pd.Series([1,3,5,np.nan,6,8]);print(s);s = p...
分类:其他好文   时间:2014-08-01 15:53:01    阅读次数:202
Python解压缩ZIP格式
转自:http://blog.csdn.net/linux__kernel/article/details/8271326很多人在Google上不停的找合适自己的压缩,殊不知Py的压缩很不错。可以试试。当然C#,Java的压缩也有第三方的类。Py有很多美名:数学理论强大,数据结构高级等等,关于压缩算...
分类:编程语言   时间:2014-08-01 15:23:01    阅读次数:236
黑天鹅与大数据
摘要 : 人类不知道的远远比知道的更有意义。历史永远不是线性发展,每一次跳跃前行中都有「黑天鹅」的身影。这就是「黑天鹅事件」要告诉我们的真相。上一篇文章里引用了「黑天鹅事件」这么个高贵冷艳的词汇,惹得众多读者发来讯息,让我讲讲黑天鹅的事。今天给大家简单说一点我对黑天鹅事件和大数据的认识。如果你像很多...
分类:其他好文   时间:2014-08-01 15:19:01    阅读次数:190
大数据时代银行业应对策略
文|张建国(中国建设银行行长)近十年来,中国银行业的改革发展取得了令世界瞩目的成就。在今年《银行家》《福布斯》发布的大企业排行榜和市值排名上,五家大型商业银行均已跻身世界前列。随着以移动互联网、云计算、“大数据”和物联网为代表的信息革命的兴起,银行业又一次面临新的机遇和挑战。中国银行业能否用好大数据...
分类:其他好文   时间:2014-08-01 13:08:31    阅读次数:304
表的截断、删除、创建
一、截断表的语句:truncate table schema.table_name删除表中的数据记录,但是不删除表的结构。该语句是ddl语句不能恢复被删除的数据行。不触发删除表记录的触发器不会将删除的记录写入日志文件中。在大数据来量的情况下,相比于使用delete from table_name w...
分类:其他好文   时间:2014-07-31 23:32:40    阅读次数:350
Oracle大数据查询优化
1、对于像状态之类的列,不是很多的,就可以加位图索引,对于唯一的列,就加唯一索引,其余的创建普通索引。2、尽量不要使用select * 这样的查询,指定需要查询的列。3、使用hits select /*+index(索引名称) index(索引名称)*/ supply_id from CSS_SUP...
分类:数据库   时间:2014-07-31 19:56:07    阅读次数:335
Oracle大数据SQL语句优化
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null 可以.....
分类:数据库   时间:2014-07-31 19:55:47    阅读次数:357
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!