台风吧 关注:288,801贴子:6,646,200

回复:【资料存档】Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)

只看楼主收藏回复

https://www.bilibili.com/video/BV122421c7nV
用今天下午的数据做了一个小demo
其实做这个能看到一个很大的亮点:好的多的连贯性和稳定性
以前的模型在画面位置变化和天顶角变化下会有较明显的变化,就像这个demo,因为H9的机动观测区他会抖动,在这样的条件下帧和帧之间没有可见的不连贯性
此外还可以看到模型很好的理解了光影的关系,能看到影子
此外,最近还注意到了通过改进的训练数据集使得陆地上的表现提升了很多,后面我们会放更多的demo演示


IP属地:美国343楼2024-02-17 00:49
收起回复
    20240215的开发周期已经结束并更新到了Dapiya实时更新图源
    20240221的开发周期已经开始,优化了不少方法,目前才刚刚开始还没看到太多成果


    IP属地:美国344楼2024-02-21 15:27
    回复
      0221开发周期E38预览


      IP属地:美国345楼2024-02-23 14:54
      回复
        0221开发周期炸炉了,根据0221开发周期收集的数据调整开始0224开发周期
        快速迭代中


        IP属地:美国346楼2024-02-24 12:18
        收起回复




          经过一段时间的研究,目前对现有模型本身和数据集做了以下改进:
          1.将本贴一开始使用的模型的代码改成github上某些写论文用pix2pix框架的作者提供的源代码。经过查阅对pix2pix原理解释的相关论文和博客,发现Carl从某处(应该不需要我多说)弄下来的代码错漏百出,大面积噪点的产生(上图1)就是错误的卷积方法造成的,正常并不会出现这种状况;
          2.将现有的数据集结构(12+1通道)稍作修改,将每个格点的太阳天顶角、方位角,卫星天顶角、方位角对应到图片相应的位置上(上图2、3、4,可见颜色渐变),而不是从中心算出来的值铺平到全图上(见309L),这相当于Dapiya的EVIS的做法。希望该做法能增加VIS模拟的准确性,尽量解决FLDK拼接边缘亮度不一的难题。
          总结:过一两天数据集制作完成后会直接开始新一轮训练。敬请期待。


          IP属地:广东347楼2024-02-29 17:54
          收起回复
            https://journals.ametsoc.org/view/journals/wefo/38/12/WAF-D-23-0038.1.xml
            CIRA的夜间可见光ProxyVIS出论文了,这个在NRL上有存档看
            把论文贴这里来绝对不是帮他们宣传,只是来拷打ProxyVIS的Regression做的模拟效果实在不敢恭维,云顶噪点都不消掉


            IP属地:美国348楼2024-03-04 14:51
            收起回复
              在这存档一下carl做的16海马,10/18 15z与18z



              IP属地:海南来自Android客户端349楼2024-03-12 18:27
              回复


                好久不见
                最近在赶AI-VIS论文的大修,偶然发现验证集里面这张图
                虽然提供了卫星角度和太阳角度,理论上能算出太阳glare会发生的位置,但特别高反射率的区域还是模拟不了


                IP属地:美国350楼2024-03-26 18:59
                收起回复


                  圆盘AI-VIS vs. 真VIS圆盘


                  IP属地:美国351楼2024-03-28 14:40
                  收起回复
                    在云图的穿透和反光效果还是有点差







                    IP属地:广东352楼2024-03-28 20:09
                    回复
                      总算卡着点把大修交了 说实话我觉得我们改的比审稿人看的认真13倍


                      IP属地:美国来自Android客户端354楼2024-04-01 12:32
                      回复










                        布拉万的一天.png


                        IP属地:美国355楼2024-04-15 06:59
                        收起回复
                          转两张py画的海贝思和jova
                          jova现在看起来没有初版那么虚了



                          IP属地:美国356楼2024-04-15 07:04
                          收起回复










                            用现有模型重制了一些本贴出现过的TC
                            现在目前是用的200epoch时的模型,训练后期效果应该还能在此基础上有一定提升,未来也会尝试优化超分辨率步骤的效果。


                            IP属地:美国357楼2024-04-19 14:09
                            回复
                              再来放几张











                              IP属地:美国358楼2024-04-20 12:40
                              收起回复