码迷,mamicode.com
首页 >  
搜索关键字:大数据 scala    ( 16997个结果
EDA云实证Vol.4:国内最大规模OPC上云,5000核并行,效率提升53倍
上一篇《EDA云实证Vol.1:从30天到17小时,如何让HSPICE仿真效率提升42倍?》里,我们帮一家Design House提高了使用HSPICE进行芯片设计仿真的效率。 而设计好的集成电路图案需要通过光刻机转印到晶圆上才能完成制造,这就是芯片制造中最重要的一个步骤——光刻。 在先进工艺特别是 ...
分类:其他好文   时间:2020-11-23 11:48:59    阅读次数:5
Scala:输入和输出
1.从控制台输入: 另外还有很多中方法供选择 2.从文件中输入 2.1绝对路径 2.2相对路径:一定要注意i相对路径是相对于整个项目project的路径而不是module 注意最后一定要把Source关闭 2.文件的输出 3.网络的交互 1 package com.me.scala 2 3 impo ...
分类:其他好文   时间:2020-11-21 12:14:30    阅读次数:7
大数据平台建设 —— SQL查询引擎之Presto
大数据查询引擎Presto简介SQLonHadoop:Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询,而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率,各大工具应运而生,比如Shark、Impala等SQLonHadoop的常见工具:Presto是什么:Presto是由Facebook开发的分布式
分类:数据库   时间:2020-11-21 12:01:11    阅读次数:8
漫画:什么是大数据?
漫画:什么是大数据?大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。Bigdataishighvolume,highvelocity,and/orhighvarietyinformationassetsthatrequirenewformsofprocessingtoenableenhanceddecisionmaking,insightd
分类:其他好文   时间:2020-11-20 12:05:55    阅读次数:7
天天写业务代码的程序员,怎么成为技术大牛
作者:程序之心丁仪 来源:https://chengxuzhixin.com/blog/post/zen_me_cheng_wei_ji_shu_da_niu.html 天天写业务代码,感觉没长进,技术深度止步不前,感觉很烦躁。很多人都在问,怎么样才能成为技术大牛?机会总是留给有准备的人,还是有一些 ...
分类:其他好文   时间:2020-11-20 11:35:34    阅读次数:4
漫画:什么是MapReduce?
漫画:什么是MapReduce?点击上方“程序员小灰”,选择“置顶公众号”有趣有内涵的文章第一时间送达!—————第二天—————————————————什么是MapReduce?MapReduce是一种编程模型,其理论来自Google公司发表的三篇论文(MapReduce,BigTable,GFS)之一,主要应用于海量数据的并行计算。MapReduce可以分成Map和Reduce两部分理解。1.
分类:其他好文   时间:2020-11-20 11:20:39    阅读次数:5
大数据平台之权限管理组件 - Aapche Ranger
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点:丰富的组件支持(HDFS,HBASE,HIVE,YARN,KAFKA,STORM)提供了细粒度级权限控制(h
分类:其他好文   时间:2020-11-18 13:10:32    阅读次数:10
数据库秒级平滑扩容架构方案
一、缘起(1)并发量大,流量大的互联网架构,一般来说,数据库上层都有一个服务层,服务层记录了“业务库名”与“数据库实例”的映射关系,通过数据库连接池向数据库路由sql语句以执行:如上图:服务层配置用户库user对应的数据库实例物理位置为ip(其实是一个内网域名)。(2)随着数据量的增大,数据要进行水平切分,分库后将数据分布到不同的数据库实例(甚至物理机器)上,以达到降低数据量,增强性能的扩容目的:
分类:数据库   时间:2020-11-18 13:09:39    阅读次数:15
100亿数据1万属性数据架构设计
一分钟系列之《啥,又要为表增加一列属性?》分享了两种数据库属性扩展思路,被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》,分享了互联网大数据高并发情况下,数据库属性扩容的成熟工具及思路。对于version+ext方案,还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节,说明不仅不是“不可能这么用”,而是大数据,可变属性,高吞吐场景下的“常用手
分类:其他好文   时间:2020-11-18 13:05:44    阅读次数:10
大数据项目实战之在线教育(01数仓需求)
尚硅谷大数据项目实战之在线教育(01数仓需求) (作者:尚硅谷大数据研发部) 版本:V1.0 第1章 数据仓库概念 数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 数据仓库是出于分析报告和决策支持目的而创建的,为需要业务智能的企业,提供指导业务流程改进、监控时间、成本、质量 ...
分类:其他好文   时间:2020-11-18 12:30:57    阅读次数:5
16997条   上一页 1 ... 17 18 19 20 21 ... 1700 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!