稍微总结一下这段时间的进展:
1. LPIPS(VGG)+SSIM双损失函数的模型基本训练完成,成功消除了VGG预训练造成的斜纹影响和冷流云的非自然纹理,但高频细节可能有些微损失,目前新模型已经上架AI-VIS网页
2. 梯度累加的试验成功了,可以允许更大batchsize的训练
3. 在已有adam优化器的情况下,训练后期减小lr还会对收敛有一定加速,不过几个epoch后收敛速度回归正常
4. 时间差分的输入初步来看不算成功,没有为模型提供明显改善
5. 探索了BBDM模型,但显存和现成架构不太支持运行我们的模型
6. 成功运行了Autoencoder-KL模型,相比原先的pix2pix架构没有明显改善,但还有进一步试验空间
7. (进行中)修改了pix2pix中Generator和Discriminator的filter数量以匹配相比AI-VIS相比原版pix2pix更大的数据量(3*256*256→12*512*512)
1. LPIPS(VGG)+SSIM双损失函数的模型基本训练完成,成功消除了VGG预训练造成的斜纹影响和冷流云的非自然纹理,但高频细节可能有些微损失,目前新模型已经上架AI-VIS网页
2. 梯度累加的试验成功了,可以允许更大batchsize的训练
3. 在已有adam优化器的情况下,训练后期减小lr还会对收敛有一定加速,不过几个epoch后收敛速度回归正常
4. 时间差分的输入初步来看不算成功,没有为模型提供明显改善
5. 探索了BBDM模型,但显存和现成架构不太支持运行我们的模型
6. 成功运行了Autoencoder-KL模型,相比原先的pix2pix架构没有明显改善,但还有进一步试验空间
7. (进行中)修改了pix2pix中Generator和Discriminator的filter数量以匹配相比AI-VIS相比原版pix2pix更大的数据量(3*256*256→12*512*512)