Task

寻找识别汇管区的方法

Superpixel Classification Approach (已过时)

Superpixel:包含多个像素的图像块

思想:

将像素分组为有意义的视觉基元(超像素),再对这些基元进行特征提取和分类,从而高效地完成像素级的分割任务**

实施过程

1.分割成块(大块的像素)

2.提取特征(颜色,纹理,坐标 etc)

3.使用已标注的数据集进行训练(按照1,2步对数据集进行处理,为每个超像素块设置标签,eg:当前块70%的部分为天空,则说明此块的标签便是天空)

新数据:训练完成后对应新数据同样进行1,2步骤,后放入训练好的分类器中(这里提到的是随机森林)

结果:每个超像素均被赋予了标签,那么各个区域便被赋予了标签



补充:

随机森林分类器: 一堆决策树,投票得出最终结果,并且随机森林会进行数据抽样(有放回,即Bootstrap Aggregating)和特征抽样从而建立训练样本。

概括随机森林的特点:决策树,数据抽样、特征抽样、投票机制

Simple Linear Iterative Clustering(简单线性迭代聚类)即 SLIC 算法:用于生成超像素,我们仅需传入k,k为一个图片被分割成的超像素总数

CIELAB color space 和 image clustering 是SLIC用的

 Local Binary Pattern(局部二值模式)即LBP 算法:

核心思想:

  1. 局部比较:以一个像素为中心,将其与周围固定半径内的 P 个邻域像素进行比较。

  2. 二值化:如果邻域像素的灰度值大于或等于中心像素的灰度值,则标记为 1;否则标记为 0

  3. 生成编码:按顺序(例如顺时针)将这些 0 和 1 排列成一个二进制数串。

  4. 转换为十进制:将这个二进制数转换为一个十进制数,这个值就是该中心像素的LBP编码值。

**举例说明:**假设有一个3x3的区域,中心点灰度值为50,周围8个点的灰度值为 [55, 40, 60, 45, 50, 65, 35, 70]。比较后得到的二进制序列为:1, 0, 1, 0, 1, 1, 0, 1。将这个二进制数 10101101 转换为十进制,就是173。这个173就是这个中心点的LBP纹理值。

上述三个算法的总结

  • SLIC算法 作为先锋,将图像分割成一个个规整的超像素区域。

  • LBP算法 作为测量师,为每个超像素区域计算其纹理特征。

  • 随机森林 作为统帅,综合颜色、纹理、位置等多种特征,对每个超像素进行最终分类。

  • 它们共同构成了深度学习时代之前,解决图像分割和场景理解问题的一个非常强大和流行的技术栈。

现有方案:全卷积网络

难点:

1.像素级标注

1. 标注的格式:像素级语义分割

这不仅仅是画个框或者打个标签,而是需要在图像上为每一个像素都赋予一个类别标签。通常我们会创建一张与原始图像尺寸相同的掩码图

  • 背景像素:标记为 0

  • 汇管区像素:标记为 1

有些更精细的标注甚至会区分汇管区内的不同结构(如胆管、门静脉等),这就是实例分割多类别语义分割了。

2.足够数量的高质量像素级标注

建议的解决方案

1. 数据增强对已有的标注图像进行随机的、不影响标签的变换,如旋转、翻转、缩放、亮度调整、弹性形变等。这能从一个样本“创造”出多个新样本,显著增加数据的多样性,是一种低成本提升模型泛化能力的有效手段。

2. 迁移学习

  • 在一个大型的通用图像数据集(如ImageNet)上预训练模型的编码器部分。

  • 然后将这个预训练好的模型,用您相对较少的肝脏汇管区标注数据来进行微调

  • 模型在大型数据集上学到的通用特征(如边缘、纹理、形状)可以很好地迁移到医学图像任务上,从而大幅减少对特定任务标注数据量的需求,并加快训练速度。

3. 弱监督与半监督学习

  • 弱监督:使用更便宜、更容易获得的标注形式来训练模型,例如只标注图像中是否包含汇管区(图像级标签),或者用矩形框框出汇管区( bounding-box 标签),而不是精确的像素级标注。

  • 半监督:同时使用少量昂贵的像素级标注数据和大量未标注数据进行训练,利用未标注数据中的分布信息来提升模型性能。

4. 主动学习让模型在训练过程中“主动”选择那些对自己学习最有价值的、最“不确定”的样本,交给专家进行标注。这样可以优先标注“信息量最大”的样本,用最少的标注成本达到最佳的性能。

文章采用多尺度超像素分类

这种方法已被端到端的深度学习在性能上超越

过程

657270a7aaaf4d0189d77c1bfe7d66fb

当前问题:

  • 目前了解到的方法均需要已含对汇管区进行标注的数据

  • 正常切片的汇管区和非正常的有何区别