SELF PRE-TRAINING WITH MASKED AUTOENCODERS FOR MEDICAL IMAGE CLASSIFICATION AND SEGMENTATION主要目的脑肿瘤的存在通常会导致肿瘤周围微环境的额外变化，包括水肿，脑组织的结构变化，和血管化增加。假设对上下文信息学习执行严格的要求可以改善深度学习-医学图像分析。 较早较简单的MAE在3D分割上的应用。 数据集胸部
预训练： 训练集：医院+公开，约 800x（3~4）x256x256x80 1、单模态resize -> 160x160x80 2、crop -> 0.4 mask -> 0.75 3、mae3d输入，通道改为80，单个patch大小为160/patch_size，160/patch_size，80/patch_size 保存encoder权重。 4、encoder输出
Revisiting MAE pre-training for 3D medical image segmentation
本文发表在CVPR-25。 研究目的自监督训练在3D医学影像里主要受三个限制： 预训练数据集规模过小：我们项目中有足够的数据。 使用的架构过时或不适合3D医学影像：重点研究以适配项目。 评估不充分 本文旨在对这三部分进行标准化改进来使MAE预训练适合3D医学影像病显著提升3D-CNN分割模型的性能。 Datasets预训练数据集专有的大脑MRI数据集，该数据集来自超过44个中心，10多种
用git管理repo
过去我只简单的使用过git push、git clone以及创建博客时的hexo等操作，为了更加系统性管理我的代码，花点时间学习git时有必要的。本文单纯是复习笔记，更详细的用法可以查看廖雪峰老师的git教程。 什么是gitgit是由linus开发的一种分布式开发控制系统，可以方便的管理个人或是公司的代码版本，查看每个版本进行的改动。 集中式？分布式？过去人们常用的SVN等集中式管理系统存在一些问
从Transformer到不同多模态工作
TransformerAttentionAttention的结构如下： 现在我们拥有Query、Key、Value三个向量矩阵。 注意力的作用可以看做对查询和键来计算余弦相似性。假设每行代表一个单词，其对于Q、K矩阵的一行Q1·K1 = |Q1|·|K1|·cosθ为一个数。Q1和K1的方向相同时（即它们的夹角接近0），cosθ 接近1，所以Q1·K1较大。这表明Q1和K1很相似。反
Pytorch lightning学习
基本操作使用LightningModule123456789101112131415161718class LitAutoEncoder(L.LightningModule): def __init__(self, encoder, decoder): super().__init__() self.encoder = encoder self.de
NormAE：旨在消除基于液相色谱质谱的代谢组学数据中的批次效应的深度对抗学习模型
NormAE：旨在消除基于液相色谱质谱的代谢组学数据中的批次效应的深度对抗学习模型 研究目的需要解决的问题基于液相色谱-质谱（LC-MS）的非靶向代谢组学受非线性批次效应（样品在不同批次处理和测量时发生的系统性技术差异）的影响，掩盖了生物学效应，且难以校正，为解决该问题该文章在2020年提出了Normalization Autoencoder。 现存技术问题 方法 优点 缺点 No