PCA是什么,与数据挖掘有何关系? 概率论和数理统计的关系? https://www.zhihu.com/question/20269390 概率论是知道数据的生成过程情况下,求观测数据的一些特点(概率) 数理统计是知道观察数据的结果,求数据生成过程。 样本点,样本空间,事件是什么,他们之间的关系是 ...
分类:
其他好文 时间:
2020-10-18 09:28:35
阅读次数:
25
特征工程的黑色艺术 Original agg & evan 京东数科风险算法与技术 5/29 易有太极,是生两仪,两仪生四象,四象生八卦。 ——《易传·系辞上传》 《特征工程的黑色艺术》 想象一下,当今社会备受瞩目的人工智能和数据挖掘算法工程师每天大部分时间都在做什么呢?是花大量时间手推公式,还是思 ...
分类:
编程语言 时间:
2020-10-13 16:55:19
阅读次数:
30
Celery+RabbitMQ实现订阅发布模式使用RabbitMQ的扇形交换机(fanoutexchange)实现订阅发布模式消息(Message)由Client发送,RabbitMQ接收到消息之后通过交换机转发到对应的队列上面。Worker会从队列中获取未被读取的数据处理。RabbitMQ消息模式的核心理念是:生产者没有直接发送任何消费到队列。实际上,生产者都不知道这个消费是发送给哪个队列的。相
分类:
其他好文 时间:
2020-10-05 22:08:39
阅读次数:
27
部分内容直接摘抄阿里官网作为背景和概述:背景在实时数据业务场景中,最常见的链路是将实时采集的数据,通过实时计算初步清洗,实时写入数据至数据库,再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中,要求数据库提供高性能的计算服务,存储海量数据,同时对接多种BI分析工具。单一的数据库很难实现以上所有功能,您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储,
分类:
其他好文 时间:
2020-10-05 22:00:02
阅读次数:
31
今天是数据处理专题的第11篇文章,我们继续来介绍matplotlib这个包的使用方法。 在上一篇文章当中我们介绍了matplotlib当中subplot的概念以及用法,今天我们将会来介绍matplotlib绘图中的一些具体的设置,可以让我们画出来的图像更加丰富,表现力也更强。 颜色 我们之前绘制的图 ...
分类:
其他好文 时间:
2020-09-24 21:46:54
阅读次数:
55
一、数据库管理系统数据库管理系统DBMS是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库。数据库管理系统分为RDBMS和NoSQL(NotonlySQL)两类。RDBMS关系型数据库管理系统,比较适合安全级别要求高的数据及关系较复杂的数据。常见RDBMS有MySQL、Oracle、MSSQL。NoSQL非关系型数据库,适合于高性能存取数据,一般是配合RDBMS进行使用,针对大数据处理分
分类:
数据库 时间:
2020-09-23 23:42:03
阅读次数:
56
https://mp.weixin.qq.com/s/a9cmV8-Vn78Lvz6kEF7T2gBy超神经场景描述:通过在厨房管理中,加入数据分析,计算机视觉等技术,一家叫Winnow的公司,帮助酒店企业减少在生产过程中的食物浪费,节省开支,杜绝浪费。关键词:计算机视觉食材规划食物浪费不是个小问题也许是这个时代的物质发展富裕了起来,食物浪费似乎是个司空见惯的事情,但也许,很多人都远远没意识到它的
分类:
其他好文 时间:
2020-09-21 12:14:06
阅读次数:
56
现如今市面上已经出现了很多数据可视化工具软件了,但具体使用怎么样呢?大家都还不知道,小编统计了一下使用过数据可视化工具软件的用户,给这些数据可视化工具软件排个名。1、Smartbi也是一款国产可视化工具软件,由广州的思迈特公司开发,这家公司本是做Excel插件起家,后来进入到BI领域。Smartbi是国内老牌BI厂商,企业级商业智能应用平台,经过多年的持续发展,凝聚了多年的商业智能最佳实践经验,整
分类:
其他好文 时间:
2020-09-18 12:15:16
阅读次数:
60
引用数组中的元素:数组切片:${ARRAY[@]:offset:number}offset:要跳过的元素个数number:要取出的元素个数取偏移量之后的所有元素${ARRAY[@]:offset}向数组中追加元素:ARRAY[${#ARRAY[*]}]=value注意:关联数组必须先声明再调用。
分类:
编程语言 时间:
2020-09-18 03:32:47
阅读次数:
37
随着移动互联网的飞速发展,信息的传输日益方便快捷,端到端的需求也日益突出,纵观整个移动互联网领域,数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命,毋庸置疑,大数据市场是待挖掘的金矿,其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源,谁就能在接下来的技术变革中进一步发展壮大。 ...
分类:
其他好文 时间:
2020-09-18 03:23:40
阅读次数:
24