Модель та засоби системи доповненої реальності для виявлення психосоматичних проблем людини
Автор: Петрушко Мар'ян Васильович
Кваліфікаційний рівень: магістр
Спеціальність: Інформаційні управляючі системи та технології
Інститут: Інститут комп'ютерних наук та інформаційних технологій
Форма навчання: денна
Навчальний рік: 2025-2026 н.р.
Мова захисту: українська
Анотація: Актуальність. Зростання психоемоційного навантаження на людину та поширення психосоматичних розладів потребують нових цифрових інструментів для своєчасного виявлення емоційної напруги та підтримки психоемоційної рівноваги. Поєднання доповненої реальності, методів штучного інтелекту та комп’ютерного зору дає змогу формувати орієнтовані на людину інтерфейси, що аналізують жести, міміку й голос та надають адаптивний зворотний зв’язок у реальному часі. Об’єкт дослідження. Процес взаємодії людини з інтелектуальними системами доповненої реальності, що розпізнають емоційний та поведінковий стан користувача. Предмет дослідження. Модель, програмні засоби та алгоритми інтеграції AR системи з модулями емоційного аналізу, розпізнавання жестів і мовних команд. Мета дослідження. Розроблення моделі та засобів системи доповненої реальності, яка допомагає виявляти психосоматичних проблем людини шляхом аналізу емоцій, жестів та мовних команд із використанням технологій комп’ютерного зору та машинного навчання. Методи та інструменти дослідження. Застосовано системний аналіз, методи комп’ютерного зору, машинного й глибинного навчання, обробки природної мови та моделювання процесів у середовищі доповненої реальності. Практичну частину реалізовано у вигляді клієнт-серверної системи iOS застосунку мовою Swift з використанням ARKit та серверної частини на Python з FastAPI і ансамблем моделей машинного навчання, між якими організовано потоковий обмін компактними дескрипторами жестів, міміки та голосу через захищений WebSocket канал. Результати та практичне значення. Спроєктовано та реалізовано інтегровану AR систему з віртуальним агентом, що виконує багатоканальне розпізнавання психоемоційного стану користувача та формує адаптивний голосовий і візуальний зворотний зв’язок у реальному часі. Розроблено багатошарову клієнт-серверну архітектуру з виділенням iOS клієнта, WebSocket-бекенду, підсистеми зберігання даних та інтеграції із LLM сервісом. Проведено експериментальні дослідження точності класифікації емоцій і жестів та оцінено придатність системи для психодіагностичних, навчальних і підтримувальних сценаріїв. Отримані результати можуть бути використані як основа для подальших розробок інтелектуальних AR асистентів з емоційною чутливістю та впроваджені в освітні й тренінгові програми. Структура роботи. Магістерська робота складається зі вступу, чотирьох розділів, висновків, списку використаних джерел та додатків. Перший розділ присвячено аналізу предметної області, психосоматичних проявів та сучасних підходів до мультимодального розпізнавання емоцій і жестів, а також формуванню вимог до системи. У другому розділі виконано проєктування системи та обґрунтування вибору методів і архітектурних рішень. Третій розділ містить опис програмної реалізації iOS застосунку та серверної частини. У четвертому розділі наведено методику та результати експериментальних досліджень інтегрованої системи й їх аналіз. Загальний обсяг роботи становить 116, у тому числі 95 основного тексту; містить 43 рисунків, список використаних джерел налічує 39. Ключові слова: доповнена реальність, психосоматичні проблеми, розпізнавання емоцій, розпізнавання жестів, комп’ютерний зір, машинне навчання, інтелектуальний агент.