Bebeklerin beden dilini poz tabanlı gerçek zamanlı çözme
Tez Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, Fen Bilimleri Enstitüsü, Türkiye
Tez Danışmanı: Doç. Dr. Süleyman Eken
Tezin Onay Tarihi: 2022
Tezin Dili: Türkçe
Özet:
İnsan poz tahmini; insan-bilgisayar etkileşimleri, oyun, sanal gerçeklik, video gözetimi, spor analizi, tıbbi destek ve yardımda yaygın olarak kullanılmaktadır. Bu çalışmada uzmanlar tarafından ortaya konulan bebeklerin belli başlı beden hareketlerinin poz tabanlı gerçek zamanlı çözülerek ilgili eylemlerin tespit edilmesi ve anlamlandırılması amaçlanmıştır. Bununla birlikte bebeğin güvenliğinin sağlanması hedeflenmiştir. Bu amaçla video paylaşım platformlarından 6 adet bebek aktivitesi, ilgili anahtar kelimeler kullanılarak toplanmıştır. Bu videolardan aktiviteyi içeren 4 ile 10 saniye uzunluğunda alt klipler oluşturulmuştur. Bu kliplere ait video çerçeveleri kullanılarak gerçek zamanlı iskelet tespit sistemleri olan OpenPose, AlphaPose ve KAPAO ile görsel üzerindeki iskelete ait koordinat bilgileri üretilmiştir. Bu iskelet koordinat bilgileri kullanılarak hafıza tabanlı bir derin öğrenme modeli oluşturulmuş ve bu derin öğrenme yöntemi ile bebek aktiviteleri sınıflandırılmıştır. Bununla birlikte Deep SORT algoritmasıyla bebeğin gerçek zamanlı takibi gerçekleştirilmiştir. Oluşturulan derin öğrenme modeli ile birlikte bebeğin olası şikayetinin habercisi olan hareketler başarıyla tespit edilmiştir. Bununla birlikte kamera açısında yer alan bebeğin takibi Deep SORT algoritması ile yapılmıştır. Bu çalışma ile hafıza tabanlı derin öğrenme modeli geliştirilerek bebekler üzerinde poz tabanlı gerçek zamanlı aktivite tanıyan sistem literatüre kazandırılmıştır.