如何使用Flupy构建数据处理管道摄影：产品经理厨师：kingname经常使用Linux的同学，肯定对|这个符号不陌生，这个符号是Linux的管道符号，可以把左边的数据传递给右边。例如我有一个spider.log文件，我想查看里面包含"ERROR"关键词，同时时间为2019-11-23的数据，那么我可以这样写命令：catspider.log|grepERROR|grep"201
分类：
其他好文 时间：
2020-12-08 12:01:17
阅读次数：
2
1方案介绍大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了
分类：
其他好文 时间：
2020-12-07 12:19:18
阅读次数：
6
?进行数据分析的时候，我们会根据分析的数据内容选择合适的图表来进行数据可视化分析和展示，对较大数据进行汇总分析时，我们常常会用到数据透视表，但是，excel里做数据透视表很复杂，总是记不了步骤，也经常点错，每次使用都得重头做一遍。是否有什么软件可以拖拖拽拽，快速制作数据透视表？有！就是Smartbi ...
分类：
其他好文 时间：
2020-12-07 12:00:40
阅读次数：
4
Flink的优势和特点： 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点，主要是因为Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apa ...
分类：
其他好文 时间：
2020-12-03 11:33:38
阅读次数：
5
数据处理不等式：DataProcessingInequality我是在差分隐私下看到的，新解决方案的可用性肯定小于原有解决方案的可用性，也就是说信息的后续处理只会降低所拥有的信息量。那么如果这么说的话为什么还要做特征工程呢，这是因为该不等式有一个巨大的前提就是数据处理方法无比的强大，比如很多的样本要分类，我们做特征提取后，SVM效果很好，但是如果用DNN之类的CNN、AuToEncoder，那么效
分类：
其他好文 时间：
2020-11-30 15:15:49
阅读次数：
7
数据分析里面可视化是重要的环节，辛苦把数据采集，然后经历了很多工序的清洗之后，最后要展现给用户，最好的方法就是数据可视化。数据可视化是一门艺术也是科学，可视化的神兵利器很多，今天介绍大名鼎鼎的Matplotlib,当然还有懒人专用的pandas画图，只要几行搞定，还有R语言的ggplot2最人性的库，以及酷炫的JS库D3.今天就先了解一下Python中最著名的绘图库Matplotlib，看看到底如
分类：
编程语言 时间：
2020-11-27 11:11:57
阅读次数：
8
Python有3大数据类型，列表，字典和集合，列表和字典前面我都讲过了，今天我们来聊聊Python中的集合.Python的书里面完整全面讲集合的不多，即使有的也只是简单带过，笔墨不多。大部分介绍Python数据结构都是被列表，字典两大网红遮盖了锋芒.貌似集合在Python的世界里很冷门,其实集合里面的东西很有用，有它特定的适用的场景,特别是在数据处理的时候.大显身手.那么说起集合，很多人一定想到了
分类：
编程语言 时间：
2020-11-27 11:10:27
阅读次数：
8
感谢大家一直对公众号的支持和陪伴，本次公众号联合博文视点给大家送一本深度学习的实践书籍，希望大家能够收获多多，新的一年，成长进步！书籍简介深度学习之美：AI时代的数据处理与最佳实践零入门|高可读|重实战|抓前沿准受用的深度学习入门教程，集各项前沿技术之大成含Hinton神经胶囊网络的详细解读扫码直接下单深度学习：基于Keras的Python实践以实践为导向，使用Keras作为编程框架强调简单、快速
分类：
其他好文 时间：
2020-11-27 10:49:59
阅读次数：
4
import matplotlib.pyplot as plt import numpy as np #数据集x,y x,y 都是向量 #给个实例x是身高(m)，y是体重(kg) #我们给实际数据x,y训练出最佳的模型 y=ax+b 然后在找个身高x预测体重y x=[0.75,0.85,0.95,1 ...
分类：
编程语言 时间：
2020-11-25 12:04:23
阅读次数：
8
数据地图是数据可视化应用中重要的组成部分，人类的任何生产生活都离不开时间及空间这两个最为重要的维度，而数据地图正是直观展现空间维度数据信息的有效手段。虽然网上已经有很多应用Excel制作数据地图的成熟方法供我们参考，但这些方法大多是应用在同等级地图维度上的，本文介绍的动态地图选取方法可以帮助我们在Excel平台上实现不同等级维度下的地图钻取，令Excel在数据地图展现功能上更为接近专业的商业智能系
分类：
其他好文 时间：
2020-11-24 12:52:16
阅读次数：
9
