台风吧 关注:288,717贴子:6,645,895

回复:【资料存档】Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)

取消只看楼主收藏回复

稍微总结一下这段时间的进展:
1. LPIPS(VGG)+SSIM双损失函数的模型基本训练完成,成功消除了VGG预训练造成的斜纹影响和冷流云的非自然纹理,但高频细节可能有些微损失,目前新模型已经上架AI-VIS网页
2. 梯度累加的试验成功了,可以允许更大batchsize的训练
3. 在已有adam优化器的情况下,训练后期减小lr还会对收敛有一定加速,不过几个epoch后收敛速度回归正常
4. 时间差分的输入初步来看不算成功,没有为模型提供明显改善
5. 探索了BBDM模型,但显存和现成架构不太支持运行我们的模型
6. 成功运行了Autoencoder-KL模型,相比原先的pix2pix架构没有明显改善,但还有进一步试验空间
7. (进行中)修改了pix2pix中Generator和Discriminator的filter数量以匹配相比AI-VIS相比原版pix2pix更大的数据量(3*256*256→12*512*512)


IP属地:美国450楼2024-10-29 23:39
回复

    之前的第7点修改效果很成功,在训练前中期就突破了原模型的最高SSIM!


    IP属地:美国451楼2024-11-09 13:25
    收起回复
      扔一点新模型的圆盘拼接测试登场的又是我们的老熟人布拉万(嗯就是懒得下新数据了)



      IP属地:美国来自Android客户端453楼2024-11-18 07:31
      回复
        简单测试了一下羽化边缘以抹除拼接痕迹,1,2是处理前,3,4是处理后,效果还是挺满意的,以后可能考虑上线大范围一点的AI-VIS图像





        IP属地:美国454楼2024-11-18 13:04
        收起回复
          最近在训练超分辨率模型,之前用的模型一直是2024年1月训练的,训练集只包含机动观测数据,对非热带地区的表现可能略有不足。这次加入了fldk,就是这么多2000*2000原分辨率band03云图占的空间可不小


          IP属地:美国来自Android客户端455楼2024-11-30 23:23
          回复

            本轮训练接近尾声。训练集表现已经明显高于验证集表现,代表模型学到的不相关特征对训练集带来的提升已经明显高于dropout噪声带来的下降。从验证集表现看暂时还没有过拟合,但再练下去提升空间相当有限。
            总体而言增加卷积核为AIVIS-1.5-large模型的整体效果带来了很大的提升,准确度上SSIM从0.92附近提高到了0.933,考虑到SSIM到这个水平以后每一点提升难度都颇大,这个幅度已经相当显著了,LPIPS loss的改善则更为明显,从0.118左右降到了0.100,稍后我们会衡量其他验证指标(PSNR,RMSE,CC,Bias)的变化,并尝试Fréchet Distance这个验证指标。
            视觉效果上的提升主要集中在以下几个方面:
            1. 陆地、温带效果明显改善
            2. 高频细节模拟更为精确。先前模型的超分辨率版本很难达到0.5km的有效分辨率,由于超分前图像高频细节不足,超分后尽管分辨率提高了但无法补足相应尺度的细节。这不是超分辨率模型的问题,而是输入端的图像模拟的不够好。当前模型和真VIS足够相似,超分效果也随之提升了。
            我这还有几天就放寒假了这段时间我们会尝试当前模型更多样的应用,包括但不限于更多TC案例,圆盘视频,Geocolor拼接等等,大家有什么想看的也欢迎提出!


            IP属地:美国458楼2024-12-16 11:19
            收起回复





              放几张新模型的图,一会把布拉万的云图视频也重发一下,这次做了投影和定位稳定


              IP属地:美国460楼2024-12-20 14:32
              收起回复
                用上新模型带定位稳定的AIVIS视频
                【闲聊娱乐】布拉万AIVIS-1.5 云图视频


                IP属地:美国来自Android客户端461楼2024-12-20 15:00
                回复

                  最近dst正在练一个纯VGG模型,验证集的VGG指标已经突破原值(0.100),稍后可以比较一下和原模型(VGG+SSIM混合损失函数)的区别


                  IP属地:美国462楼2025-01-03 15:15
                  收起回复
                    2024.11 四台共舞
                    11日18z,天兔的命名报点


                    IP属地:美国463楼2025-01-24 12:56
                    收起回复
                      时隔5个多月总算等到审稿意见返回了,好在是小修,意见整体比较正面这个周末正在仔细修改插图之类的,希望能很快有进一步的好消息


                      IP属地:美国来自Android客户端464楼2025-04-12 20:49
                      收起回复


                        丢一张近期比较画的满意的圆盘


                        IP属地:美国466楼2025-04-16 14:52
                        回复