DeepS汇报

DeepS：通过深度神经网络加速3D质谱成像

所汇报文献

研究目的

3D-MSI相对于2D来说，可以绘制复杂生物结构的分子分布图。本文提出一种多尺度采样单元的系数采样策略，通过3D稀疏网络重建。并提出DeepS工作流程和3D-SSNet，旨在在20-30%的采样率下也能得到和全采样近似的结果，缩短3D MSI技术分析构建的时长。

数据集

3D阿尔兹海默症小鼠脂质数据集

PDX胶质母瘤小鼠脑数据集

小鼠肾脏MALDI数据集

Method

稀疏采样策略

传统方法：集合S中按预定顺序选取1x1大小子集。

本文方法：定义S由多个采样单元（正方形区域）构成，H x W会调整为H/k x W/k，不能整除部分填0。而s由人工掩码（稀疏化全采样数据时）和操作掩码决定。

掩码处理

不同k值图像示例

所有未采样化为三通道（0,1,0），采样复制值到三通道，以此区分未采样像素和低强度采样像素。

论文地址未提供randon_mask函数代码。

3D-SSNet模型

SSNet模型

Generator：稀疏图像重建。

Unet：收缩：4x下采样-卷积扩展：卷积 + 4x上采样。

Discriminator：区分真实、重建样本。

步长2的六块4x4卷积层。

UNet结构

Loss：

1 2	`criterion = nn.BCELoss() criterionL1 = nn.L1Loss()`

netD:

errD_real：判别器对真实图像的判断损失

使用二元交叉熵（BCELoss），标签为real_label=1。
目标：最大化判别器对真实图像的识别能力（输出接近1）。

errD_fake：判别器对生成图像的判断损失

同样使用BCELoss，标签为fake_label=0。
目标：最大化判别器对生成图像的识别能力（输出接近0）。

output = netD(input_real)
errD_real = criterion(output, label)
output = netD(fake.detach())
errD_fake = criterion(output, label)
errD = errD_real + errD_fake

netG:

errG_D：生成器对抗损失

使用BCELoss，但标签为real_label=1（欺骗判别器）。
目标：生成图像使判别器输出接近1（误判为真）。

errG_l1：L1重建损失

使用L1Loss，计算生成图像与真实图像的像素级差异。
目标：约束生成图像与真实图像的结构一致性。

errG_D = criterion(output, label)

        
        errG_l1 = criterionL1(fake, input_real)
        errG_l1 = errG_l1.mean()

        errG = (1 - wtl2) * errG_D + wtl2 * errG_l1

训练过程

从集合{1，2，4，8，16}中选择一个值作为每个离子图像的采样单元的大小，生成一个随机的人工掩码，并执行模拟稀疏采样，遮挡80%。为每个epoch生成新的人工掩码，使3DSSNet了解截面的结构特征、适应不同大小的采样单元。
计算真实图像和生成图像的判别损失（errD_real/errD_fake），反向传播更新netD。
生成图像（fake = netG(input_cropped)），计算对抗损失（errG_D）和L1损失（errG_l1），反向传播更新netG。
如果有提升则保存参数，每五个epoch学习率衰减20% 。