GÖRÜNTÜ İŞLEME VE YAPAY ZEKÂ İLE ORTAM DUYGU YOĞUNLUK ANALİZİ VE YÖNTEMLERİ


Yıldırım İ., Özcan H.

INTERNATIONAL YEDITEPE SCIENTIFIC RESEARCH CONGRESS, İstanbul, Türkiye, 7 - 08 Eylül 2024, ss.152-160

  • Yayın Türü: Bildiri / Tam Metin Bildiri
  • Basıldığı Şehir: İstanbul
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.152-160
  • Kocaeli Üniversitesi Adresli: Evet

Özet

Bu çalışma, görüntü işleme ve yapay zekâ teknikleri kullanarak ortamlardaki duygu yoğunluğunu analiz etmeyi amaçlamaktadır. Duygu analizi, görüntülerde tespit edilen insan yüzlerindeki temel duyguların belirlenmesi olarak tanımlanırken; duygu yoğunluğu, bu verilerden matematiksel hesaplamalarla en yüksek değere sahip olan duygu yoğunluk seviyesinin elde edilmesiyle belirlenir. Çalışmada, duygu tanımlama modellerinin eğitimi için FER-2013 ve CK+48 gibi geniş veri setleri kullanılmıştır. EfficientNet-B7, ConvLSTM ve Derin CNN gibi modellerin yanı sıra, basit bir CNN yapısı ile birlikte HOG, LBP ve SIFT gibi özellik çıkarıcı yöntemler kullanılarak farklı doğruluk oranları elde edilmiştir. Bu oranlar sırasıyla %68, %90.83, %85, %98.98, %60.91 ve %99.49 olarak kaydedilmiştir. Gerçek zamanlı olarak test edilen modeller arasından en iyi performans gösteren Derin CNN modeli seçildikten sonra, MTCNN yüz dedektörü ve OpenCV kütüphaneleri kullanılarak gerçek zamanlı ortam duygu yoğunluğu analizi gerçekleştirilmiştir. Bu analiz için çeşitli yöntemler geliştirilmiştir. Bunlardan ilki, saniye başına düşen karelerdeki tüm yüzlerdeki duyguların tanımlanması ve ortalama duygunun belirlenmesidir. İkinci yöntem duygu değişimlerinin belirginleşmesi için ortalama sürenin tespit edilmesidir. Üçüncü yöntem; yoğunluğu değiştiren ve duygu yoğunluğuna etkisinin en fazla olduğu düşünülen kişilerin tespit edilerek ana karakterlerin belirlenmesidir. Dördüncü yöntem; anlık görüntüler üzerinden duygu yoğunluğu analizi yapılmasıdır. Beşinci yöntem ise; yüz bölgelerinden değişimler ile duygu durumu değişimlerinin analiz edilmesidir. Çalışmanın sonuçları, çevrimiçi iş toplantılarında duygu yoğunluğunu analiz etmek için uygulanmış ve grafiksel olarak zaman içerisindeki duygu değişimleri izlenmiştir. Elde edilen bulgular, seminerler, dersler ve doktor-danışan görüşmeleri gibi farklı ortamlarda da kullanılabilecek şekilde önerilmiştir. 

This study aims to analyze the emotional intensity in environments using image processing and artificial intelligence techniques. Emotion analysis is defined as the identification of basic emotions in human faces detected in images, while emotional intensity is determined by obtaining the intensity level with the highest value through mathematical calculations from these data. For the training of emotion recognition models, large datasets such as FER-2013 and CK+48 were used. Models like EfficientNet-B7, ConvLSTM, and Deep CNN, as well as a simple CNN structure combined with feature extraction methods such as HOG, LBP, and SIFT, were used, resulting in different accuracy rates. These rates were recorded as 68%, 90.83%, 85%, 98.98%, 60.91%, and 99.49%, respectively. Among the models tested in real-time, the Deep CNN model, which showed the best performance, was selected. Subsequently, real-time environmental emotional intensity analysis was conducted using the MTCNN face detector and OpenCV libraries. Several methods were developed for this analysis. The first method involves identifying emotions in all faces in frames per second and determining the average emotion. The second method is to identify the average duration to make emotional changes more distinct. The third method involves detecting individuals who are thought to have the greatest impact on emotional intensity and defining them as main characters. The fourth method is conducting emotional intensity analysis based on instant images. The fifth method involves analyzing emotional state changes through variations in facial regions. The results of the study were applied to analyze emotional intensity in online business meetings, and the emotional changes over time were graphically monitored. The findings were suggested to be applicable in various environments such as seminars, lectures, and doctor-client meetings.