Tensorflow2 —— 适合小白的逐层输出权重和偏差

目标:

通过自定义回调函数来逐层输出每个epoch前后的权重和偏差,用于给大家来查找训练loss不下降等问题。这个方法感觉比较适合给新手小白们使用(自己也是刚刚入门)。

函数:

首先我们要做的就是给自己写好的卷积层命名,如下代码。

#这里就是tensorflow2 基础的建立一个卷积网络
#每个卷积层的命名通过name 这个来比如 这里的layer1 和 layer2 就是我们想看的权值和偏移

model = tf.keras.models.Sequential([
            

tf.keras.layers.Conv2D(filters=64,kernel_size=[3,3],strides=[1,1],input_shape=        
(224,224,3),name='layer1')  
...
...
tf.keras.layers.Conv2D(filters=64,kernel_size=[3,3],strides=[1,1],name='layer2')  
...
...
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(512, activation='relu'),
tf.keras.layers.Dense(1, activation='sigmoid')
                                    
                                   ])

自定义回调函数

自定义回调函数有六个时间段可以给大家用

on_epoch_begin 在每轮开始时被调用
on_epoch_end 在每轮结束时被调用
on_batch_begin 在处理每个批次之前被调用
on_batch_end 在处理每个批次之后被调用
on_train_begin 在训练开始时被调用
on_train_end 在训练结束时被调用
#首先我们写一下自己的自定义回调函数
#这里是python里面的类的继承 大概意思就是在原有的keras.callbacks.Callback中添加一些自己想用的函数
#on_epoch_begin 里面的self epoch logs={} 这三个最好不要自己改 会报错有时候 我自己也没弄明白 

class Mycallbacks(keras.callbacks.Callback):
    def on_epoch_begin(self, epoch, logs={}):
        w1 = model.get_layer('layer1').get_weights()  #layer1在训练前随机权值和偏移
        print(w1)
    def on_epoch_end(self, epoch, logs={}):
        w1 = model.get_layer('layer1').get_weights()  #layer1在完成1个epoch后的权值和偏移
        print(w1)

训练

配置一下model.fit()里面的一些函数

layer1_w1 = Mycallbacks()

model.fit(
            train_df,
            train_labels,
            epochs=4,
            ...
            ...
            callbacks = [layer1_w1]

           )

总结

还有其他简单的方法可以输出每层的权值和偏移,这个办法都是自己慢慢琢磨出来的,如果有错误的地方希望大家纠正一下(吐槽:深度学习太难学了)。

有一个小缺点:每次输出的数据都太多了导致自己看起来不怎么方便。大家可以在搞个函数来存这些数据,然后自己以后查看的时候会比较方便。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇

)">
下一篇>>