在本文中，我将讨论一种新的半监督、多任务医学成像方法，称为Multimix、Ayana Haque、Abdullah-Al-Zubaer Imran、王一行、Demetri Terzopoulos。该论文被收录在《ISBI 2021》中，并在4月的会议上发表。
MultiMix通过采用基于置信度的增强策略和新的桥接模块来执行联合半监督分类和分割，这也为多任务提供了可解释性。在完全监督下，深度学习的模型可以有效地执行复杂的图像分析任务，但其性能严重依赖于大型标记数据集的可用性。尤其在医学影像领域，人工标注不仅成本高，而且耗时。因此，从有限数量的标记数据进行半监督学习被认为是标记任务的解决方案。
在同一个模型中学习多个任务，可以进一步提高模型的通用性。多任务允许任务之间的共享表示学习，并且需要更少的参数和更少的计算，从而使模型更有效，更不容易过拟合。
在不同数量的标注数据和多源数据上进行了大量实验，证明了该方法的有效性。还提供了跨任务域内和跨域评估，以展示该模型适应具有挑战性的泛化场景的潜力，这对于医学成像方法来说是一项具有挑战性但重要的任务。
背景知识
近年来，由于深度学习的发展，基于深度学习的医学影像技术得到了发展。然而，深度学习的根本问题一直存在，那就是它们需要大量的标记数据才能有效。但这在医学成像领域是一个更大的问题，因为收集大型数据集和注释是非常困难的，因为它们需要领域专业知识，既昂贵又耗时，而且很难组织在一个集中的数据集中。此外，在医学影像领域，通用化也是一个关键问题。由于不同来源的图像在定性和定量方面都有很大的不同，因此很难使用一个模型在许多领域获得强大的性能。这些问题促使了本文的研究:希望能够用一些以半监督和多任务学习为中心的关键方法来解决这些基本问题。
什么是半监督学习？
为了解决标签数据有限的问题，半监督学习作为一种很有前途的替代方法受到了广泛关注。在半监督学习中，未标记的例子与标记的例子相结合，使信息收益最大化。半监督学习已经有了很多研究，包括一般研究和医学研究。这些方法我就不详细讨论了，但是如果你有兴趣的话，这里列出一些优秀的方法供你参考[1，2，3，4]。
解决有限样本学习问题的另一个解决方案是使用来自多个来源的数据，因为它增加了数据中的样本数量和数据的多样性。但这样做是有挑战性的，因为它需要特定的训练方法，但如果做得正确，它会非常有效。
什么是多任务学习？
多任务学习已被证明可以提高许多模型的泛化能力。多任务学习定义为在单一模型中优化多个损失，通过共享表征学习完成多个相关任务。一个模型中多个任务的联合训练可以提高模型的泛化能力，因为每个任务都是相互影响的。假设训练数据来自不同的分布，它可以用于有限数量的不同任务。在这种情况下，在没有监督的情况下，多任务处理对学习很有用。将多任务与半监督学习相结合可以提高性能，并在这两项任务中取得成功。同时完成这两项任务是非常有利的，因为单一的深度学习模型可以非常准确地完成这两项任务。
关于医学领域的相关工作，具体方法如下:[1，2，3，4，5，6，7，8，9，10]。然而，这些发现的主要局限性在于，它们没有使用来自多个来源的数据，这限制了它们的推广，并且大多数方法是单任务方法。
因此，本文提出了一种新的、更通用的多任务模型MultiMix，该模型结合了基于置信度的桥接块，用于从多源数据中学习诊断分类和解剖结构分割。显著图可以通过可视化有意义的视觉特征来分析模型预测。生成显著图的方法有多种，其中最重要的方法是从输入图像中计算类得分的梯度。尽管任何深度学习模型都可以用来研究更好的意义图解释，但据我们所知，单个模型中两个共享任务之间的意义桥尚未被探索。
算法
让我们首先定义我们的问题。两个数据集用于训练，一个用于分割，另一个用于分类。为了分割数据，我们可以使用符号XS和Y，它们分别是图像和分割掩模。对于分类数据，我们可以使用符号XC和C，即图像和类别标签。
模型架构使用基线U-NET架构，这是一种常见的细分模型。编码器的功能类似于标准的CNN。为了使用U-NET执行多任务，我们将从编码器分支，并使用池化和完全连接的层分支来获得最终的分类输出。
分类
对于分类方法，使用了数据增强和伪标记。受[1]的启发，使用了一个未标记的图像，并进行了两次单独的增强。
首先，对未标记图像进行弱增强，从图像的弱增强版本中，将模型当前状态的预测定义为假标记。这也是为什么这种方法是半监督的，但是我们后面会讨论伪标签的标签。
其次，对同一幅未标记图像进行强增强，利用弱增强图像和强增强图像本身的伪标记计算损失。
这种操作的理论基础是希望模型将弱增强图像映射到强增强图像上，可以迫使模型学习诊断和分类所需的基本特征。两次增强图像还可以最大化独特图像的潜在知识增益。这也有助于提高模型的泛化能力，就像模型被迫学习图像中最重要的部分一样，它将能够克服图像中由于不同域而产生的差异。
本文采用常规增强方法对图像进行弱增强，如水平翻转和轻微旋转。强增强策略要有趣得多:创建一个非常规且强大的增强池，并对任何给定的图像应用随机数量的增强。这些增强都很“变态”，比如裁剪、自对比、亮度、对比度、均衡、一致、旋转、锐度、裁剪等等。通过应用任何数量的这些元素，我们可以创建非常广泛的图像，这在处理低样本数据集时尤其重要。最后，我们发现这种增强策略对于强大的性能非常重要。
现在我们回过头来讨论一下伪标的过程。如果模型生成的错误标签的置信度超过优化阈值，则图像标签可以防止模型从错误和不良标签中学习。因为在预测一开始没有被确认的时候，模型主要是从标记的数据中学习。慢慢地，模型对未标记图像的标记生成变得更有信心，因此模型变得更高效。在提高性能方面，这也是一个非常重要的特性。
现在我们来看看损失函数。分类损失可通过以下公式建模:
其中L-sub-l是监督损失，c-hat-l是分类预测，c-l是标签，lambda是无监督分类权重，L-sub-u是无监督损失，c-hat-s是强增强图像的预测，argmax是弱增强图像的假标签，t是假标签阈值。
这基本上总结了分类方法。现在继续说分割方法。
结束
对于分段，通过具有跳跃连接的编码器-解码器架构来预测是非常简单的。论文分段的主要贡献是合并了一个桥接模块来连接两个任务，如上图所示。根据模型预测的类别，生成显著图，使用从编码器延伸到分类分支的梯度。整个过程如上所示，但它本质上强调了模型用于对肺炎图像进行分类的图像部分。
虽然我们不知道分割的图像是否代表肺炎，但生成的图突出了肺部。因此，当显著图用于生成和可视化图像的类预测时，它有点类似于肺掩模。因此，我们假设这些图可以用于指导解码器阶段的分割，并可以改善分割效果，同时从有限的标签数据中学习。
在MultiMix中，所生成的显著图与输入图像相连接，被下采样并被添加到输入到第一解码器级的特征图中。与输入图像的联系可以增强两个任务之间的联系，提高桥接模块的有效性。同时添加输入图像和显著图为解码器提供了更多的上下文和信息，这在处理低样本数据时非常重要。
现在来说说训练和损耗。对于标记样本，我们通常使用参考肺掩模和预测分割之间的dice损失来计算分割损失。
因为我们没有未标记分割样本的分割掩码，所以无法直接计算它们的分割损失。因此，计算标记和未标记示例的分割预测之间的KL散度。这使得模型做出的预测与标记数据的差异越来越接近，可以使模型更适合未标记数据。虽然这是一种间接的计算损失的方法，但它仍然允许模型从未标记的分段数据中学习很多东西。
关于损失，划分损失可以写成:
与分类相比，α是分割约简权重，y-hat-l是标记分割预测，y-l是对应的掩膜，β是无监督分割权重，y-hat-u是无标记分割预测。
模型分类和分割损失的组合目标用于训练。
数据集
该模型被训练和测试用于分类和分段任务。每个任务的数据来自两个不同的来源:肺炎检测数据集，我们称之为Chex [11]和日本放射技术学会或JSRT [12] [12]，分别用于分类和分割。
为了验证该模型，使用了两个外部数据集，蒙哥马利县胸部X射线或MCU [13]和NIH胸部X射线数据集的子集，我们称之为NIHX [14]。来源的多样性对模型提出了很大的挑战，因为四个数据集的图像质量、大小、正常图像与异常图像的比例以及强度分布的差异都非常不同。下图显示了强度分布的差异和每个数据集的图像示例。所有4个数据集都使用CC BY 4.0许可证。
结果
本文进行了多次实验，在多个数据集和跨领域使用了不同数量的标记数据。
测试中使用了几个基线，从Arale-net和标准分类器开始，标准分类器是一个具有密集层的编码器提取器。然后，我们将它们组合成一个基线多任务模型。还使用了半监督方法、多任务模型和半监督多任务模型。
在训练方面，在多个带标签的数据集上进行了训练。对于分类，我们使用100、1000和所有标签，对于细分，我们使用10、50和所有标签。对于结果，将使用符号:model-label进行标记。对于评估，使用准确度和F1分数进行分类，使用DS相似性、JACCARD相似性分数、结构相似性指数、平均Hausdorff距离、准确度和召回率进行分割。
此表显示了添加每个新组件后模型的性能如何提高。对于分类任务，与基线模型相比，基于置信度的增强方法可以显著提高性能。multimix-10-100–100在精确度方面也优于完全监控的基线编码器。对于细分，桥模块大大改进了基线U-NET和UMTL模型。即使使用最低的片段标签，我们也可以看到其性能提高了30%，这证明了本文提出的Multimix模型的有效性。
如表中所示，多模模式下的性能与内域模式下的性能一样有前途。在所有基线模型上，Multimix在分类任务中得分更高。由于NIHX和CHEX数据集之间的显著差异，如前所述，得分不如内域模型。但是比其他型号要好。
上图显示了域内和跨域评估的分割结果的一致性。我的数据集中的每个图像都显示了模型的骰子点数。如图所示，与基线相比，Multimix是最强的型号。
最后一张图是模型的分割预测可视化。所显示的预测边界使得为每个建议的分割任务添加不同标记数据的真实值比较成为可能。该图显示了与MultiMix对真实边界的边界预测的高度一致性，尤其是与基线相比。对于跨域MultiMix也是很大程度上最好的，表现出很强的泛化能力。
摘要
在本文中，我们解释了一种新的稀疏监督多任务学习模型MultiMix，它可以用于联合学习来分类和分割任务。本文使用四个不同的胸部x光数据集进行了大量的实验，证明了MultiMix在域内和跨域评估中的有效性。
论文作者还提供了源代码。有兴趣的可以看看:
https://avoid . over fit . cn/post/a 475 b 41 b 332845 b 7 bb 9 e 8 cf 09 EC 8 c 662
作者:Ayaan Haque
