Точна повна семантична сегментація клітин на мікроскопічних зображеннях
Автор: Притула Ярослав Ярославович
Кваліфікаційний рівень: магістр (ОНП)
Спеціальність: Комп'ютерні науки (освітньо-наукова програма)
Інститут: Інститут комп'ютерних наук та інформаційних технологій
Форма навчання: денна
Навчальний рік: 2024-2025 н.р.
Мова захисту: українська
Анотація: Притула Я. Я., Денисюк П. Ю. (керівник). Точна повна семантична сегментація клітин на мікроскопічних зображеннях. Магістерська кваліфікаційна робота. – Національний університет «Львівська політехніка», Львів, 2025. Розширена анотація. Сегментація клітин на мікроскопічних зображеннях є критично важливою задачею в біомедичному аналізі, що лежить в основі морфометричних досліджень, автоматизованої діагностики та вивчення біологічних процесів. Особливі труднощі становлять зображення, отримані методом фазово-контрастної мікроскопії, які, хоч і не вимагають маркування, містять значні візуальні артефакти: ефекти ореолу, варіації освітлення, нерівномірність фону та текстуровані шуми [2], [3]. На фоні таких викликів класичні архітектури сегментації не забезпечують достатньої точності та надійності результатів, що створює потребу в удосконалених моделях. У межах даної роботи було розроблено нову архітектуру сегментації DiffSAM2UNet, яка поєднує переваги потужного енкодера Hiera [9], адаптерів для тонкого налаштування в біомедичній області, та декодера в стилі U-Net [1], доповненого механізмами диференційованої уваги та обробкою в контекстних пропускних з’єднаннях. На відміну від класичних моделей, де skip-зв’язки передають фіксовані ознаки, у DiffSAM2UNet вони активно модифікуються на основі локального контексту завдяки Differential Multi-Head Attention [7], що дозволяє моделі ігнорувати фон і точно виділяти клітинні структури. Було проведено огляд сучасних підходів до сегментації клітин, включаючи базові U-Net [1], модифікації UNet++ [5], Swin-Unet [6] та трансформерні архітектури [4], які демонструють сильні результати на зображеннях з високим контрастом, однак втрачають ефективність в умовах шуму. Для валідації розробленого методу використано LIVECell [8] масштабний публічний датасет фазово-контрастних зображень клітин, що містить 8 ліній та понад 1 млн інстанс-масок. Результати дослідження показали, що запропонована модель перевершує існуючі аналоги за ключовими метриками: IoU (82.56), F1-score (90.45), Recall (95.21), демонструючи стійкість до артефактів фону та перекриття клітин. Архітектура також передбачає використання рецептивних блоків (RBF) [10] у декодері, які розширюють область сприйняття, сприяючи кращому захопленню структури клітин. На відміну від громіздких енкодерів, що потребують повного донавчання, DiffSAM2UNet використовує адаптери [11], що значно зменшують витрати на обчислення, роблячи модель придатною для задач із обмеженим числом розмічених даних. Розроблено повний пайплайн сегментації: попередня обробка, тренування, інференс та візуалізація результатів, що забезпечує практичну інтеграцію моделі в системи автоматичного аналізу клітинних культур та діагностики. Реалізація базується на PyTorch [13] з використанням засобів аугментації Albumentations [12]. Паралельно з виконанням магістерської роботи, під час навчання в Університеті Тарту було подано статтю з теми інстанс-сегментації клітин, у якій запропоновано архітектуру IAUNet. Модель поєднує U-подібну структуру з трансформерним декодуванням для точного розділення клітин з перекриттям. Робота прийнята до презентації на конференції CVPR 2025. Це підтверджує актуальність теми клітинної сегментації, високий науковий інтерес до подібних архітектур та перспективність їхнього застосування. Об’єкт дослідження: Об’єктом дослідження є зображення клітин, отримані за допомогою фазово-контрастної мікроскопії, які містять складні візуальні виклики у вигляді шумів, ореолів, нерівномірного фону та перекриття клітинних структур. Саме цей тип візуалізації часто використовується для спостережень за живими культурами без потреби у фарбуванні, проте він створює суттєві труднощі для алгоритмів автоматичної обробки зображень. Предмет дослідження: Предметом дослідження є методи глибокого навчання для семантичної сегментації клітин, зокрема архітектури нейронних мереж, що поєднують трансформерні енкодери, U-Net-декодери, механізми селективної уваги та рецептивні блоки. Особливу увагу приділено застосуванню диференційованої багатоголової уваги та ефективним адаптерам для адаптації моделей до умов фазово-контрастної мікроскопії. Мета дослідження: Метою дослідження є підвищення точності та стійкості сегментації клітин на фазово-контрастних мікроскопічних зображеннях шляхом розробки нової архітектури DiffSAM2UNet. Особлива увага приділяється покращенню локалізації клітинних меж, зниженню впливу шумів та артефактів, а також забезпеченню обчислювальної ефективності для подальшого практичного застосування в біомедичних системах аналізу. Запропоновано нову архітектуру DiffSAM2UNet, яка поєднує енкодер Hiera, адаптери, U-Net-декодер, рецептивні блоки та Differential Multi-Head Attention. Модель досягла високих результатів на датасеті LIVECell: IoU - 82.56, F1-score - 90.45, Recall - 95.21. Вона перевершила сучасні аналоги на фазово-контрастних зображеннях, виявила стійкість до шумів і артефактів, зменшила потребу в обчислювальних ресурсах і показала ефективність навіть при обмежених даних. Ключові слова: сегментація клітин, фазово-контрастна мікроскопія, глибоке навчання, U-Net, Multi-Head Attention. Список використаних джерел: [1] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation.” 2015. [2] M. E. Kandel et al., “Real-time halo correction in phase contrast imaging,” Biomed. Opt. Express, 2018. [3] B. Peng et al., “Practical guidelines for cell segmentation models under optical aberrations in microscopy.” 2024. [4] J. Chen et al., “TransUNet: Transformers make strong encoders for medical image segmentation.” 2021.