https://b23.tv/BDiNglr，这篇文章相信Carl应该也看过，中间原理和步骤不多讲了，如果跟AI结合会怎么样呢？或者整一个AI模型出来，然后以1979~今的数据生模拟云图，以现实的云图作为对象，提升模拟的准确率，在此基础上增加其他的色阶什么的，甚至拓展到vis，一个庞大的想法

热带气旋的bug主要是这一个，然后也是细节问题，不过理论上自从79年开始数据完善的情况下，进行模拟再对比现实情况应该会好些，如果AI数值能做的更好的话，那么也是一个可行的方向，不过工程量太大了

想问问现在有没有modis之类的极轨AIVIS的计划(挺想看看15年前的一些tc的)

最近刚搬到新地方，王总装机的配件大概还有一两天能到，装好再进行下一步计划的模型训练

在上海大台风来临前存个档，然而我现在不在上海

话说现在支持MSG吗

最近的进展：
1. 王总的4090重装机完成，正在训练LPIPS(VGG)+SSIM双损失函数的模型，目标是尽量消除斜纹和圆盘边缘冷流云上的非自然纹路。
2. 实验了梯度累加和lr设置变化对模型训练的影响。
3. 正在下载时间差分的数据集，打算先在1年数据的小训练集实验以比较不同输入下的模型表现。

“日落”中的山陀儿

墨湾新风王存个图

稍微总结一下这段时间的进展：
1. LPIPS(VGG)+SSIM双损失函数的模型基本训练完成，成功消除了VGG预训练造成的斜纹影响和冷流云的非自然纹理，但高频细节可能有些微损失，目前新模型已经上架AI-VIS网页
2. 梯度累加的试验成功了，可以允许更大batchsize的训练
3. 在已有adam优化器的情况下，训练后期减小lr还会对收敛有一定加速，不过几个epoch后收敛速度回归正常
4. 时间差分的输入初步来看不算成功，没有为模型提供明显改善
5. 探索了BBDM模型，但显存和现成架构不太支持运行我们的模型
6. 成功运行了Autoencoder-KL模型，相比原先的pix2pix架构没有明显改善，但还有进一步试验空间
7. （进行中）修改了pix2pix中Generator和Discriminator的filter数量以匹配相比AI-VIS相比原版pix2pix更大的数据量（3*256*256→12*512*512）

之前的第7点修改效果很成功，在训练前中期就突破了原模型的最高SSIM！

2024/11/15
趁着机器现在有别的项目要跑，要跑2天半，来写个更新吧
在上个更新中的7里面写的scaling experiment取得了巨大的成功，具体表现主要是LPIPS明显低于原模型，SSIM也有所提高
从视觉效果上来讲也完爆以前的所有模型，但是代价是现在Generator有~269M参数
因为效果太好，暂时管这个模型叫aivis-1.5-large
一些收获：
1. 要降GAN loss的比例，要不然不收敛
2. SSIM饱和了，他作为bench不能很好的反应模型的提升，LPIPS饱和的情况相对小很多，但是在某个点也是会饱和的
3. AI-VIS这个task比我们想象中的更复杂，当然也因为我们的训练数据集大，因此scaling获得了很好的结果，原本的模型确实是炼到完全饱和了，所以再怎么改也没什么提升
4. 再scale一点也许还能有提升，但是不确定提升是否值得（现在在fp32推理大概需要3gb显存，虽然在cpu上推理也不慢，但是再scale要求确实会高不少）
放点图：
aivis-1.5-large vs. aivis-0.9(2023.12)


aivis-1.5-large vs. aivis-1.0(2024.5)


训练log（跑到ep200+的是老模型，没有的是新模型）：
G loss:

D loss:

val SSIM:

val LPIPS:

扔一点新模型的圆盘拼接测试登场的又是我们的老熟人布拉万（嗯就是懒得下新数据了）

简单测试了一下羽化边缘以抹除拼接痕迹，1,2是处理前，3,4是处理后，效果还是挺满意的，以后可能考虑上线大范围一点的AI-VIS图像