您的位置:首页技术文章
文章详情页

Softmax函数原理及Python实现过程解析

浏览:41日期:2022-07-24 16:53:30

Softmax原理

Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果,具体计算公式为:

Softmax函数原理及Python实现过程解析

对于k维向量z来说,其中zi∈R,我们使用指数函数变换可以将元素的取值范围变换到(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法,如max-min、z-score方法并不能保证各个元素为正,且和为1。

Softmax性质

输入向量x加上一个常数c后求softmax结算结果不变,即:

Softmax函数原理及Python实现过程解析

我们使用softmax(x)的第i个元素的计算来进行证明:

Softmax函数原理及Python实现过程解析

函数实现

由于指数函数的放大作用过于明显,如果直接使用softmax计算公式

Softmax函数原理及Python实现过程解析

进行函数实现,容易导致数据溢出(上溢)。所以我们在函数实现时利用其性质:先对输入数据进行处理,之后再利用计算公式计算。具体使得实现步骤为:

查找每个向量x的最大值c; 每个向量减去其最大值c, 得到向量y = x-c; 利用公式进行计算,softmax(x) = softmax(x-c) = softmax(y)

代码如下:

import numpy as npdef softmax(x): ''' softmax函数实现 参数: x --- 一个二维矩阵, m * n,其中m表示向量个数,n表示向量维度 返回: softmax计算结果 ''' assert(len(X.shape) == 2) row_max = np.max(X, axis=axis).reshape(-1, 1) X -= row_max X_exp = np.exp(X) s = X_exp / np.sum(X_exp, axis=axis, keepdims=True) return s

测试一下:

a = [[1,2,3],[-1,-2,-3]]b = [[1,2,3]]c = [1,2,3]a = np.array(a)b = np.array(b)c = np.array(c)

print(softmax(a))print(softmax(b))print(softmax(c)) # error

输出结果为:

[[ 0.09003057 0.24472847 0.66524096][ 0.66524096 0.24472847 0.09003057]][[ 0.09003057 0.24472847 0.66524096]]Traceback (most recent call last):assert(len(X.shape) == 2)AssertionError

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持好吧啦网。

标签: Python 编程
相关文章: