2015年12月23日有幸參加由广东省人民政府和阿里巴巴集团举行的“数据引领,飞粤云端”2015年云栖大会广东峰会暨广东省云计算大数据开发人员大会,也非常荣幸现场听了阿里云计算总裁胡晓明先生的精彩演讲《让计算成为中国的能力》。作为IT界非著名的老腊肉老屌丝。我来述说一下自已的看法。 首先,胡总的标题 ...
分类:
其他好文 时间:
2017-07-18 19:41:15
阅读次数:
162
转自云栖社区: https://yq.aliyun.com/articles/60354?spm=5176.8251999.569296.36.siyXRn 周志湖 2015-08-25 21:23:00 浏览305 评论0 摘要: 本节主要内容 缓冲区的使用 文件的存盘与读盘 文本查找 文本替换 ...
分类:
系统相关 时间:
2017-04-25 16:46:25
阅读次数:
264
1.概述 在大数据的浪潮之下,技术的更新迭代十分频繁。受技术开源的影响,大数据开发者提供了十分丰富的工具。但也因为如此,增加了开发者选择合适工具的难度。在大数据处理一些问题的时候,往往使用的技术是多样化的。这完全取决于业务需求,比如进行批处理的MapReduce,实时流处理的Flink,以及SQL交 ...
分类:
Web程序 时间:
2017-04-09 16:27:41
阅读次数:
321
数加是什么 在阿里云的官网打开大数据部分(整个大数据部分统称为数加),其中包括:大数据基础服务部分,MaxCompute、ADS、流计算、大数据开发套件;人工智能部分,机器学习(基础平台是PAI)、语音识别、ET等;数据分析展现部分,数据可视化(大屏、BI报表)、I+关系网络分析(安全领域用的比较多 ...
分类:
其他好文 时间:
2017-03-28 21:31:11
阅读次数:
424
1、介绍如何使用DataIDE周期性调度MaxCompute MapReduce作业 2、如何编写带资源文件的MapReduce代码 ...
分类:
其他好文 时间:
2017-03-16 19:05:41
阅读次数:
272
转载自云享团 因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,又是如何实现的?请认真看完下面的介绍,这些问题都不是事儿。 ...
分类:
其他好文 时间:
2017-03-16 18:32:30
阅读次数:
319
工作了两年多了,一直没写过总结。我想,是该写写总结了,看看最近的收获和教训。 我从事大数据开发,是始于2015年,接触的技术也比较有限,从MapReduce开始学起,到HDFS和Hadoop she'll命令,到Spark、Hive、Hbase,Sqoop,也算基本入门了,期间还部署了Hadoop集 ...
分类:
其他好文 时间:
2017-01-15 17:02:19
阅读次数:
175
个人简介: 测试老鸟,曾做过6年的测试以及2年的大数据开发;曾就职于伟景行、高德(大数据开发);钟情于钻研开源测试框架;目前挂单于艺龙。 有对本主题感兴趣的同学,可以加我Q私信(305285925); 在本文内,主要以Android性能测试为主进行分析 一、性能测试包含 1、启动时间测试 测试场景包 ...
分类:
移动开发 时间:
2016-12-22 14:41:12
阅读次数:
456
因为工作需要需要做一些与大数据开发有关的工作,加之网上的知识过于分散,经常往图书馆跑。看了很多与数据相关的书籍,认为以下基本比较不,错推荐给大家。因为本人接触大数据不足一年,肯定会有一些错误的观念,有错误的地方欢迎在文章下方的评论中评论。1、《解惑大数据》人..
分类:
其他好文 时间:
2016-11-21 02:26:00
阅读次数:
668
联合国“全球脉动”计划发布《大数据开发:机遇与挑战》2012 年 5 月 29 日,联合国“全球脉动”( Global Pulse)计划发布《大数据开发:机遇与挑战》报告,阐述了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战,并为正确运用大数据提出了策略建议。1. 引言技术创 ...
分类:
其他好文 时间:
2016-10-28 23:30:47
阅读次数:
3936