类神经网络训练不起来怎么办（四）

分类

Class as one-hot vector

y

=

(

1

,

0

,

0

)

T

o

r

(

0

,

1

,

0

)

T

o

r

(

0

,

0

,

1

)

T

y=(1,0,0)^Tor(0,1,0)^Tor(0,0,1)^T

y=(1,0,0)Tor(0,1,0)Tor(0,0,1)T

y

^

←

y

′

=

s

o

f

t

m

a

x

(

y

)

hat yleftarrow y^{'}=softmax(y)

y^​←y′=softmax(y)

Soft-max

y

=

exp

⁡

(

y

i

)

∑

j

exp

⁡

(

y

j

)

y=frac{exp(y_i)}{sum_{j}exp{(y_j)}}

y=∑j​exp(yj​)exp(yi​)​

让y变到0-1之间，各个输出之间的差距更大

两个class用sigmoid和softmax是一样的

分类问题的损失函数

Cross-entropy:

e

=

−

∑

i

y

i

ln

⁡

y

^

i

e=-sum_{i}y_ilnhat y_i

e=−∑i​yi​lny^​i​

损失函数也会影响训练