프로젝트 목표

• 세그먼트 모델을 제작하여 자동화 도구의 도움 없이 dice score 0.7 이상을 달성
  • dice score의 기준은, 환자의 3D 종양 마스크와 비교
• 다양한 모델을 실험하고, 가장 최적의 모델을 선정
  • 개인 진행으로, 2D 기반 세그먼트 모델 실험

BraTS 데이터셋

• Brain Tumor Segmentation Challenge에서 제공한 데이터셋
• 500개의 T1c MRI 스캔 데이터와 학습용 종양 마스크 데이터 (NifTI 형식)

1. 전처리

   • 데이터 리샘플링
     • 모든 복셀의 간격을 1mm으로 통일
       • MRI 스캔 데이터는 B-spline보간으로 연속성 유지
       • 종양 마스크 데이터는 nearest neighbor로 라벨 값 보존
     • HD-BET을 이용해서 뇌부분을 제외한 나머지 영역 제거
       • 연조직 부분의 소실로 기존 마스크가 제외된 빈 영역에 존재하는 문제 발생
       • 뇌 영역과 마스크의 교집합으로 남아있는 마스크만을 이용
     • 마스크가 너무 작은 데이터 제거
       • 마스크를 잘라내는 과정에서 아예 사라지거나, 너무 작게 남는 경우는 학습 데이터로 사용하기 적합하지 않다
       • 데이터 제거로 소실되는 데이터 양과 적합도를 고려하여 남은 마스크가 300복셀이 넘는 데이터만을 학습과 검증에 사용

2. 데이터셋 제작

   • 전체의 데이터를 9:1로 나눠, 각각을 학습과 검증에 이용
   • 서로 다른 크기의 2D 슬라이스 이미지를, 이미지의 내용을 중심으로 256 x 256 사이즈로 crop & padding을 적용하여 크기를 통일
   • 마스크가 존재하는 슬라이스만을 학습 또는 검증에 이용
   • 모델에 입력하는 이미지는 grayscale 이미지를 전, 후 슬라이스 1장씩 추가해 3장의 이미지를 쌓아서 3채널의 이미지 한장으로 만들어, 유사 3D 이미지의 형식으로 이용

   1. 학습 데이터셋

      • 환자에 상관없이 모든 데이터를 섞어서 학습
      • albumentations 이미지 증강 라이브러리를 이용하여 transform 적용
        • HorizontalFlip : 좌우 반전
        • ShiftScaleRotate : 이미지 이동, 확대/축소, 회전
        • ElasticTransform : 이미지 탄성 변형
          • 종양 같은 미세한 형태 변화가 있는 객체에 대해 모델이 강건하게 반응하는데 도움

   2. 검증 데이터셋

      • 환자 별로 묶어서 구분하여 검증
      • 슬라이스한 2D 이미지들을 차례로 모델에 입력하여 출력된 결과물을 쌓아, 3D 마스크와 비교해 dice score를 계산

개인 진행

• U-NET

  

  • 이미지 세그먼테이션을 위한 합성곱 신경망(CNN) 기반의 모델
  • U자형 대칭구조를 활용하여 적은 데이터로도 높은 성능을 발휘
  • 4개의 인코더와 4개의 디코더, 그리고 인코더와 디코더를 연결하는 브릿지로 구성
  • 각 인코더와 디코더는 스킵 연결을 통해 서로 직접 연결되어 저수준의 특징정보와 고수준 정보를 효과적으로 결합

• 테스트에 이용한 모델

  • ResNet + U-NET
    • 디코더의 스킵연결과 브릿지에 이용되는 각 인코더의 출력을 ResNet 모델의 각 계층의 출력으로 구성하는 모델
    • timm 라이브러리와 같은, 미리 구현되어 있고, pretrained가 된 모델을 사용할 수 있어 학습 속도와 일반화 성능에 이득

• 실험 관련 코드

  GitHub - lsysungyeob/hkit_project03

• 실험 결과 정리

  • 2D 마스크 검증

    학습 조건	Dice score
    ResNet50 + U-NET, grayscale이미지 3채널 copy, AdamW	0.6891
    ResNet50 + U-NET, grayscale 유사 3D 이미지, AdamW	0.7188
    ResNet50 + U-NET, grayscale 유사 3D 이미지, SGD	0.7476

  • 3D 마스크 검증

    학습 조건	Dice score
    ResNet50 + U-NET, grayscale 유사 3D 이미지, SGD	0.7681

프로젝트 결과

• Plain U-NET 3D + Deep Supervision
  • Dice score 0.82로 가장 좋은 결과를 얻은 모델을 최종 선정
  • Deep Supervision 기법을 이용한 학습
    • U-NET의 디코더의 중간 출력에도 보조 loss를 부여
    • gradient가 깊은 레이어까지 잘 전달되게 하여 학습을 안정화하고 성능을 개선