 جلسه دفاع از پایان نامه: پوریا آقاامیدی، گروه مهندسی پزشکی
ارائهکننده: پوریا آقاامیدی چکیده: تشخیص حواسپرتی افراد مخصوصاً اپراتورها، اهمیت بالایی دارد. بهعنوانمثال وضعیت ذهنی نامناسب یک راننده یا خلبان میتواند باعث تصادف شود و جان انسانها را به خطر اندازد. یکی از راههای غیرتماسی تشخیص حواسپرتی فرد، استفاده از دمای چهره است که اطلاعات مهمی را درباره حالت فکری و جسمی در اختیار ما میگذارد. سیستمی که بتواند با استفاده از ویدئوهای حرارتی چهره به صورت خودکار وضعیت ذهنی افراد را مشخص کند، شامل دو بخش اساسی شامل ردیاب چهره و سیستم تشخیص حالت ذهنی است. بنابراین ما نیاز به ردیابی داریم که بتواند با دقت بالا چهره فرد و نقاط مشخصه آن را شناسایی کند. ازآنجاییکه ردیابهای موجود بر روی تصاویر در گستره نور مرئی تمرکز دارند و بر روی تصاویر حرارتی با خطای زیادی همراه هستند، تصمیم گرفتیم که با استفاده از یادگیری عمیق ابتدا ردیابی تولید کنیم که بتواند با دریافت یک تصویر حرارتی علاوه بر تشخیص مختصات چهره فرد، 68 نقطه کلیدی از چهره را نیز شناسایی کند. با این کار ما میتوانیم به قسمتهای مهم از تصویر حرارتی که اطلاعات ارزشمندتری در اختیارمان قرار میدهند دسترسی داشته باشیم و از آنها برای تشخیص رانندگی هنگامی که فرد دچار حواسپرتی شده استفاده کنیم. ما در این مسیر از ترکیب یادگیری چندکاره با یادگیری خودنظارتی در کنار ترنسفورمرها و شبکههای کانولوشنی استفاده کردیم. استفاده از روشهای خودنظارتی در فرایند آموزش به ما این امکان را میدهد که ویژگیهای استخراج شده نسبت به حالت نظارت شده بسیار کاربردیتر باشند و به بهبودی عملکرد شبکه، بهخصوص پس از فرایند آموزش و در کاربرد عملی، کمک شایانی کنند. به این صورت که برای شناسایی محل چهره، ابتدا دو وظیفه فرعی تشخیص جنسیت فرد و زاویه چرخش را تعریف کردیم که به ترتیب به دقت 98.46% و 100% رسیدند. سپس با استفاده از ویژگیهای استخراج شده توانستیم وظیفه اصلی یعنی تشخیص مختصات چهره را به انجام برسانیم. همچنین برای شناسایی 68 نقطه کلیدی چهره فرد، معماری دیگری طراحی کردیم و 4 وظیفه فرعی تشخیص جنسیت، شناسایی سوژه، تشخیص زاویه چرخش و بازسازی درون تصویر را تعریف کردیم. همچنین از یک معماری استخراج ویژگی دیگر با عنوان سویین ترنسفورمر به صورت موازی با استخراج کننده ویژگی آماده شده استفاده شد. این کار باعث شد که شبکه نهایی بتواند با کمترین خطای ثبت شده در این مجموعهداده نسبت به مطالعات پیشین (میانگین خطای نرمال شده به اندازه 1.48) نقاط مشخصه چهره را در تصاویر حرارتی شناسایی کند. پس از اینکه به کمک ردیابهای طراحی شده قسمت موردنظر را از تصویر فرد جدا کردیم، به کمک یک شبکه از پیش آموزشدیده، از فریمهای ویدئوها ویژگی استخراج کرده و با عبوردادن آن ویژگیها از یک شبکه عصبی بازگشتی توانستیم حالتهای ذهنی را با دقت 91.68 درصد شناسایی کنیم. در این مطالعه ما توانستیم تنها با استفاده از یک شاخص ویدئو حرارتی به بالاترین دقت نسبت به مطالعات مشابه برسیم و باتوجهبه اینکه شاخص انتخاب شده غیرتماسی است، روش ارائه شده را برای استفاده کاربردی پیشنهاد دهیم. |
