码迷,mamicode.com
首页 > 其他好文 > 详细

Tensorflow中神经网络的激活函数

时间:2018-02-19 21:47:47      阅读:293      评论:0      收藏:0      [点我收藏+]

标签:pre   python   函数   激励   plot   else   panda   alt   map   

激励函数的目的是为了调节权重和误差。

 

relu

    max(0,x)

 

relu6

    min(max(0,x),6)

 

sigmoid

    1/(1+exp(-x))

 

tanh

  ((exp(x)-exp(-x))/(exp(x)+exp(-x))

    双曲正切函数的值域是(-1,1)

 

softsign

    x/(abs(x)+1)

 

softplus

  log(exp(x)+1)

  

elu

  (exp(x)+1)if x<0 else x

 

import math
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

x = np.linspace(-10, 10, 500)

relu = list(map(lambda m: max(0, m), x))
relu6 = list(map(lambda m: min(max(0, m), 6), x))
sigmoid = 1 / (np.exp(-x) + 1)
tanh = (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
softsign = x / (np.abs(x) + 1)
softplus = np.log(np.exp(x) + 1)
elu = list(map(lambda m: math.exp(m) + 1 if m < 0 else m, x))


data = {
    ‘relu‘: relu,
    ‘relu6‘: relu6,
    ‘sigmoid‘: sigmoid,
    ‘tanh‘: tanh,
    ‘softsign‘: softsign,
    ‘softplus‘: softplus,
    ‘elu‘: elu
}
df = pd.DataFrame(data, index=x)
# print(df)


df[["relu", "relu6"]].plot(
    kind="line", grid=True,
    style={"relu": "y-", "relu6": "r:"},
    yticks=np.linspace(-1, 8, 10),
    xlim=[-10, 10], ylim=[-1, 8])

df[["softplus", "elu"]].plot(
    kind="line", grid=True,
    style={"softplus": "y-", "elu": "m:"},
    yticks=np.linspace(-1, 8, 10),
    xlim=[-10, 10], ylim=[-1, 8])

df[["sigmoid", "tanh", "softsign"]].plot(
    kind="line", grid=True,
    yticks=np.linspace(-1.5, 1.5, 7),
    xlim=[-10, 10], ylim=[-1.5, 1.5])

plt.show()

  技术分享图片

技术分享图片

技术分享图片

 

Tensorflow中神经网络的激活函数

标签:pre   python   函数   激励   plot   else   panda   alt   map   

原文地址:https://www.cnblogs.com/wwxbi/p/8454441.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!