• 售前

  • 售后

热门帖子
入门百科

tensorflow2 自界说丧失函数利用的潜伏坑

[复制链接]
无人岛屿颈 显示全部楼层 发表于 2021-8-14 13:30:29 |阅读模式 打印 上一主题 下一主题
Keras的核心原则是渐渐揭示复杂性,可以在保持相应的高级便利性的同时,对操纵细节举行更多控制。当我们要自界说fit中的训练算法时,可以重写模子中的train_step方法,然后调用fit来训练模子。
这里以tensorflow2官网中的例子来分析:
  1. import numpy as np
  2. import tensorflow as tf
  3. from tensorflow import keras
  4. x = np.random.random((1000, 32))
  5. y = np.random.random((1000, 1))
  6. class CustomModel(keras.Model):
  7.     tf.random.set_seed(100)
  8.     def train_step(self, data):
  9.         # Unpack the data. Its structure depends on your model and
  10.         # on what you pass to `fit()`.
  11.         x, y = data
  12.         with tf.GradientTape() as tape:
  13.             y_pred = self(x, training=True)  # Forward pass
  14.             # Compute the loss value
  15.             # (the loss function is configured in `compile()`)
  16.             loss = self.compiled_loss(y, y_pred, regularization_losses=self.losses)
  17.         # Compute gradients
  18.         trainable_vars = self.trainable_variables
  19.         gradients = tape.gradient(loss, trainable_vars)
  20.         # Update weights
  21.         self.optimizer.apply_gradients(zip(gradients, trainable_vars))
  22.         # Update metrics (includes the metric that tracks the loss)
  23.         self.compiled_metrics.update_state(y, y_pred)
  24.         # Return a dict mapping metric names to current value
  25.         return {m.name: m.result() for m in self.metrics}
  26.    
  27. # Construct and compile an instance of CustomModel
  28. inputs = keras.Input(shape=(32,))
  29. outputs = keras.layers.Dense(1)(inputs)
  30. model = CustomModel(inputs, outputs)
  31. model.compile(optimizer="adam", loss=tf.losses.MSE, metrics=["mae"])
  32. # Just use `fit` as usual
  33. model.fit(x, y, epochs=1, shuffle=False)
  34. 32/32 [==============================] - 0s 1ms/step - loss: 0.2783 - mae: 0.4257
  35. <tensorflow.python.keras.callbacks.History at 0x7ff7edf6dfd0>
复制代码
这里的loss是tensorflow库中实现了的丧失函数,如果想自界说丧失函数,然后将丧失函数传入model.compile中,能正常按我们预想的work吗?
答案竟然是否定的,而且没有错误提示,只是loss盘算不会符合我们的预期。
  1. def custom_mse(y_true, y_pred):
  2.     return tf.reduce_mean((y_true - y_pred)**2, axis=-1)
  3. a_true = tf.constant([1., 1.5, 1.2])
  4. a_pred = tf.constant([1., 2, 1.5])
  5. custom_mse(a_true, a_pred)
  6. <tf.Tensor: shape=(), dtype=float32, numpy=0.11333332>
  7. tf.losses.MSE(a_true, a_pred)
  8. <tf.Tensor: shape=(), dtype=float32, numpy=0.11333332>
复制代码
以上效果证实了我们自界说loss的正确性,下面我们直接将自界说的loss置入compile中的loss参数中,看看会发生什么。
  1. my_model = CustomModel(inputs, outputs)
  2. my_model.compile(optimizer="adam", loss=custom_mse, metrics=["mae"])
  3. my_model.fit(x, y, epochs=1, shuffle=False)
  4. 32/32 [==============================] - 0s 820us/step - loss: 0.1628 - mae: 0.3257
  5. <tensorflow.python.keras.callbacks.History at 0x7ff7edeb7810>
复制代码
我们看到,这里的loss与我们与尺度的tf.losses.MSE明显不同。这分析我们自界说的loss以这种方式直接通报进model.compile中,是完全错误的操纵。
正确运用自界说loss的姿势是什么呢?下面发表。
  1. loss_tracker = keras.metrics.Mean(name="loss")
  2. mae_metric = keras.metrics.MeanAbsoluteError(name="mae")
  3. class MyCustomModel(keras.Model):
  4.     tf.random.set_seed(100)
  5.     def train_step(self, data):
  6.         # Unpack the data. Its structure depends on your model and
  7.         # on what you pass to `fit()`.
  8.         x, y = data
  9.         with tf.GradientTape() as tape:
  10.             y_pred = self(x, training=True)  # Forward pass
  11.             # Compute the loss value
  12.             # (the loss function is configured in `compile()`)
  13.             loss = custom_mse(y, y_pred)
  14.             # loss += self.losses
  15.         # Compute gradients
  16.         trainable_vars = self.trainable_variables
  17.         gradients = tape.gradient(loss, trainable_vars)
  18.         # Update weights
  19.         self.optimizer.apply_gradients(zip(gradients, trainable_vars))
  20.         
  21.         # Compute our own metrics
  22.         loss_tracker.update_state(loss)
  23.         mae_metric.update_state(y, y_pred)
  24.         return {"loss": loss_tracker.result(), "mae": mae_metric.result()}
  25.    
  26.     @property
  27.     def metrics(self):
  28.         # We list our `Metric` objects here so that `reset_states()` can be
  29.         # called automatically at the start of each epoch
  30.         # or at the start of `evaluate()`.
  31.         # If you don't implement this property, you have to call
  32.         # `reset_states()` yourself at the time of your choosing.
  33.         return [loss_tracker, mae_metric]
  34.    
  35. # Construct and compile an instance of CustomModel
  36. inputs = keras.Input(shape=(32,))
  37. outputs = keras.layers.Dense(1)(inputs)
  38. my_model_beta = MyCustomModel(inputs, outputs)
  39. my_model_beta.compile(optimizer="adam")
  40. # Just use `fit` as usual
  41. my_model_beta.fit(x, y, epochs=1, shuffle=False)
  42. 32/32 [==============================] - 0s 960us/step - loss: 0.2783 - mae: 0.4257
  43. <tensorflow.python.keras.callbacks.History at 0x7ff7eda3d810>
复制代码
终于,通过跳过在 compile() 中通报丧失函数,而在 train_step 中手动完成所有盘算内容,我们得到了与之前默认tf.losses.MSE完全同等的输出,这才是我们想要的效果。
总结一下,当我们在模子中想用自界说的丧失函数,不能直接传入fit函数,而是需要在train_step中手动传入,完成盘算过程。
到此这篇关于tensorflow2 自界说丧失函数使用的隐蔽坑的文章就先容到这了,更多相干tensorflow2 自界说丧失函数内容请搜索草根技术分享以前的文章或继续欣赏下面的相干文章希望大家以后多多支持草根技术分享!

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作