GAN-BASED MEDICAL IMAGE GENERATION FOR RARE PATHOLOGIES USING TRANSFER LEARNING AND RADIMAGENET WEIGHTS

Аннотация

Внедрение технологий искусственного интеллекта в медицинскую визуализацию открыло новые возможности для решения давней проблемы дисбаланса классов в диагностических наборах данных, в частности в маммографии, где злокачественные примеры оказываются недостаточно представленными. В данной работе предлагается архитектура на основе GAN, специально разработанная для генерации синтетических маммографических изображений патологий с малочисленными выборками при сохранении их высокой достоверности, что позволяет расширить объем данных и повысить эффективность обучения и обобщающую способность диагностических моделей. Предложенный метод включает систему дискриминаторов из двух ветвей, где одна из ветвей использует сеть DenseNet121, предобученную на наборе данных RadImageNet, для извлечения релевантных доменных признаков. В рамках всей архитектуры применяется Wasserstein GAN с градиентным штрафом (WGAN-GP), что обеспечивает устойчивый режим состязательного обучения и позволяет избежать таких проблем, как коллапс мод. Для проведения экспериментов использовался датасет CBIS-DDSM, изображения которого были предварительно нормированы по размеру и дополнительно подвергнуты методам аугментации данных для повышения обобщающей способности моделей. Реалистичность и разнообразие синтетических изображений оценивались с помощью количественных метрик: Kernel Inception Distance (KID), Fréchet Inception Distance (FID), Learned Perceptual Image Patch Similarity (LPIPS) и Multi-Scale Structural Similarity (MS-SSIM). Результаты показали, что оптимальное соотношение между реалистичностью и разнообразием достигается при значении веса градиентного штрафа λ = 3.0, которое оказалось наиболее эффективным по большинству метрик. При этом KID составил 0.1765, а FID — 179.35 на этапе сходимости. Полученные данные подтверждают ценность использования предобученных на радиологических изображениях моделей в архитектурах GAN, а также демонстрируют, что корректировка параметров градиентного штрафа позволяет находить баланс между реализмом и разнообразием при генерации синтетических медицинских изображений.