一、hadoop安装 1. 修改主机名和 IP 地址映射 sudo vi /etc/hostname #修改主机名（如，删掉原有内容，命名为 hadoop） ping hadoop #ping 通证明成功 2. 安装java sudo apt install openjdk-8-jdk-headle ...
分类：
其他好文 时间：
2020-06-11 21:50:24
阅读次数：
78
Flink：ApacheFlink是一个计算框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视
分类：
其他好文 时间：
2020-06-11 21:28:52
阅读次数：
114
Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。 Apache Spark简介 Apache Spark是为快速计算而设计的开源，闪电般快速的集群计算框架。Apache Spa ...
分类：
Web程序 时间：
2020-06-11 19:59:25
阅读次数：
79
参考文章： MySQL百万级数据量分页查询方法及其优化 MySQL分页查询优化 重点提一下： 在优化分页语句过程中，一定注意查询的语句添加排序字段，一定自己建表实践，有的可能不一定有效果哦 比如下面这两个语句，返回的结果就不是一样的。具体什么原因可以看看我另一篇博客 MySQL 默认排序是什么 SE ...
分类：
数据库 时间：
2020-06-11 19:52:52
阅读次数：
74
Netty中使用零拷贝方式写大数据 因为网络饱和的可能性，如何在异步框架中高效地写大块的数据是一个特殊的问题。由于写操作是非阻塞的，所以即使没有写出所有的数据，写操作也会在完成时返回并通知ChannelFuture。当这种情况发生时，如果仍然不停地写入，就有内存耗尽的风险。所以在写大型数据时，需要准 ...
分类：
Web程序 时间：
2020-06-11 19:27:29
阅读次数：
94
本地scala version为2.11.8，spark为2.4.0版本 于是修改dr-elephant/build.sbt scalaVersion := "2.11.8" 修改dr-elephant/compile.conf hadoop_version=2.8.4 spark_version= ...
分类：
其他好文 时间：
2020-06-11 13:42:28
阅读次数：
100
当开始数据分析项目时，通常首先分别分析每个变量，以描述拥有的数据并评估其质量，接下来的步骤是探索变量之间存在的关系。这些关系可能会导致对数据所代表的总体得出某些推论或结论。结论可能会导致数学模型预测当前不在数据集中的数据结果。但是，在导致决策或行动步骤之前，数据分析无效。 在一番挣扎之后，中琛魔方给大家总结了互联网运营的五大数据分析方法，希望帮助大家在数据分析中越来越游刃有余～加油！ 漏斗
分类：
其他好文 时间：
2020-06-11 12:06:47
阅读次数：
400
大数据时代，随着数据可视化越来越受到推崇，特别是大屏展示技术的发展，企业对数据可视化的要求也越来越高。传统报表工具早已不堪重负，最显著的原因就是数据量的庞大，每年的双十一、双十二，购物产生的数据数以兆计！在一张表格上来分析这些数据根本是天方夜谭。所以说传统的报表工具已经不能满足人们对于数据可视化的期望了，而大数据分析工具却可以为人们提供更好的选择。RDP新推出的可视化报表工具，就是不错的大数据处理
分类：
其他好文 时间：
2020-06-11 00:51:15
阅读次数：
73
python是一门非常高级的编程语言，同时python作为人工智能的重要编程语言，无论发展前景还是就业方向，都可以说是无可限量。
分类：
编程语言 时间：
2020-06-11 00:42:34
阅读次数：
104
在 6 月 9 日 2020 阿里云线上峰会上，阿里云智能基础产品事业部高级研究员蒋江伟重磅发布了云原生裸金属方案。
分类：
其他好文 时间：
2020-06-11 00:21:48
阅读次数：
197
