台风吧 关注:288,716贴子:6,645,895

回复:【资料存档】Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)

取消只看楼主收藏回复


调了一种看着有点恶心的图,准备塞进去做双波段AI-VIS,现在RGB中R空着,G是Band13-15差分,B是Band13IR
实在看的不舒服也可以换成R和B赋值


IP属地:美国36楼2023-09-27 00:28
回复

    双波段的数据集(2000对)准备好了,今晚应该就能跑个大概


    IP属地:美国38楼2023-09-27 07:15
    回复


      双波段的训练结果,看得出来生成器loss下降到10以下的时间点比单波段早一截,30个epcoh训练完在验证集的表现上就和单波段差不离了,一会直接拿SSIM检验一下


      IP属地:美国39楼2023-09-27 08:23
      回复
        30个epoch后的双波段模型:
        SSIM:0.7043519912281064
        RMSE:0.05824207144297647
        SSIM比700个epoch的单波段差0.02,RMSE比单波段好0.002,两者表现确实已经在同一水平,接着继续训练双波段应该很快就能超越


        IP属地:美国41楼2023-09-27 08:28
        收起回复
          60epoch后的结果:
          SSIM:0.7716136355723116
          RMSE:0.04919214986197597
          全面超越单波段的效果了




          IP属地:美国43楼2023-09-27 09:31
          回复
            100epoch:
            验证集:
            SSIM0.799
            RSME0.046
            同时训练集的表现是SSIM0.834 RMSE0.035,可以看到训练集表现略优于验证集,但是两者之间的差距比单波段小多了

            按照这曲线好像还能再来几十个epoch再降学习率


            IP属地:美国46楼2023-09-27 10:54
            回复
              150epoch
              训练集
              SSIM:0.859
              RMSE:0.0312
              训练集生成效果

              验证集
              SSIM:0.807
              RMSE:0.0456
              验证集生成效果

              训练曲线

              基本上loss降到极限了,接下来梯度从0.0002降到0.00005试一试看看还有多少潜力,不过得先备份一下模型防止过拟合了


              IP属地:美国47楼2023-09-27 12:32
              回复
                200个epoch
                验证集
                SSIM0.8162
                RSME0.0451
                随着学习率的降低生成效果再次有所改善,能看到验证集图像云顶光影开始逐渐清晰(虽然高频信息还是丢的比较多,比较糊)

                至于训练集...效果看起来已经很好了,大概长这样:

                整体SSIM已经到0.881了说实话训练集表现和验证集表现差距加大不是什么好消息,但是至少验证集的SSIM没有不升反降,一会再调低学习率跑个几十epoch试试看


                IP属地:美国48楼2023-09-27 14:29
                回复

                  200epoch为止的loss曲线图


                  IP属地:美国49楼2023-09-27 14:30
                  回复

                    双波段基本上训练完毕了,大概250epoch时SSIM最高(0.817)后面可能出现了轻微的过拟合 接下来放一些单张样图


                    IP属地:美国50楼2023-09-28 00:09
                    回复
                      验证集表现大概这样?











                      IP属地:美国51楼2023-09-28 00:29
                      收起回复
                        似乎分辨这种隐约有眼的embc还是有用的



                        IP属地:美国52楼2023-09-28 00:42
                        收起回复
                          Band13-15双波段训练完毕,我们试试看再加一个错位差分的波段,看看能否更有效地生成云顶光影
                          错位差分在亮温相减的基础上添加了一个映射函数以着重突出云顶纹路

                          映射后的数据大概长这样:


                          IP属地:美国53楼2023-09-28 04:09
                          收起回复

                            不得不说输入图像长得越来越抽象了


                            IP属地:美国54楼2023-09-28 04:16
                            回复

                              确实出现了一些高频噪点...同epoch下SSIM表现似乎不如双波段的,不过换低学习率继续炼可能能够改善


                              IP属地:美国55楼2023-09-28 23:18
                              回复