前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2018-02-23 10:46:05
阅读次数：
154
以下内容是翻译的官网文档RedLock和分区部分，可以简单了解分布式锁在redis如何实现及其方式 redis分区的方法 redis实现的分布式锁RedLock算法，分布式锁，即在多个master上获取同一个锁 1.in order to get the lock,the client get th ...
分类：
其他好文 时间：
2018-02-23 10:45:56
阅读次数：
163
使用场景:结果变量是类别型,二值变量和多分类变量,不满足正态分布 结果变量是计数型,并且他们的均值和方差都是相关的 解决方法:使用广义线性模型,它包含费正太因变量的分析 1.Logistics回归(因变量为类别型) 案例:匹配出发生婚外情的模型 1.查看数据集的统计信息 结果:该数据从601位参与者 ...
分类：
编程语言 时间：
2018-02-23 00:47:06
阅读次数：
1507
Dubbo 是什么？ Dubble是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理的方案。 Dubbo 有啥特点？ 远程通讯：提供透明化的远程方法的调用，提供多协议支持。 集群容错：软负载均衡，失败容错，地址路由，动态配置等集群支持。 自动发现：基于注册中心 ...
分类：
其他好文 时间：
2018-02-23 00:24:40
阅读次数：
192
激活函数 使用 S 型函数作为隐藏单元上的激活函数,S 型函数的导数最大值为 0.25（如上所示）。这意味着，当你用 S 型函数单元进行反向传播时，网络上每层出现的错误至少减少 75%，如果有很多层，权重更新将很小，这些权重需要很长的训练时间。因此，S 型函数不适合作为隐藏单元上的激活函数。 初识修 ...
分类：
其他好文 时间：
2018-02-22 22:33:29
阅读次数：
438
本章介绍了Spark用于数据处理的核心抽象概念，具有弹性的分布式数据集(RDD)。一个RDD仅仅是一个分布式的元素集合。在Spark中，所有工作都表示为创建新的RDDs、转换现有的RDDs，或者调用RDDs上的操作来计算结果。在底层，Spark自动将数据中包含的数据分发到你 ...
分类：
其他好文 时间：
2018-02-22 21:35:41
阅读次数：
208
rsyslog特性：CentOS6和71，多线程2，支持UDP,TCP,SSL,TLS,RELP?MySQL,PGSQL,3，Oracle实现日志存储4，强大的过滤器，可实现过滤记录日志信息中任意部分5，自定义输出格式6，ELK：elasticsearch,logstash,kibana7，非关系型分布式数据库8，基于apache软件基金会jakarta项目组的项目lucene9，Elastics
分类：
其他好文 时间：
2018-02-22 19:53:12
阅读次数：
242
一、概述 1、业务背景 对老系统进行重构合并，导致新系统需要同时对3个数据库进行管理。由于出现跨库业务，需要实现分布式事务。 2、开发环境 spring框架版本 4.3.10.RELEASE 持久层为结合mybatis写的领域模型，如 每一个entity对应数据库的一张表，@DataSource注解 ...
分类：
编程语言 时间：
2018-02-22 19:41:26
阅读次数：
500
本文转载于极光日报 https://zhuanlan.zhihu.com/jiguang daily 负载均衡是高可用网络基础架构的关键组件，通常用于将工作负载分布到多个服务器来提高网站、应用、数据库或其他服务的性能和可靠性。 一个没有负载均衡的 web 架构类似下面这样： 在这里用户是直连到 we ...
分类：
其他好文 时间：
2018-02-22 19:32:52
阅读次数：
159
