INTERNATIONAL YEDITEPE SCIENTIFIC RESEARCH CONGRESS, İstanbul, Turkey, 7 - 08 September 2024, pp.152-160
This study aims to analyze the emotional intensity in environments using image processing and artificial
intelligence techniques. Emotion analysis is defined as the identification of basic emotions in human faces
detected in images, while emotional intensity is determined by obtaining the intensity level with the highest
value through mathematical calculations from these data. For the training of emotion recognition models, large
datasets such as FER-2013 and CK+48 were used. Models like EfficientNet-B7, ConvLSTM, and Deep CNN,
as well as a simple CNN structure combined with feature extraction methods such as HOG, LBP, and SIFT,
were used, resulting in different accuracy rates. These rates were recorded as 68%, 90.83%, 85%, 98.98%,
60.91%, and 99.49%, respectively. Among the models tested in real-time, the Deep CNN model, which showed
the best performance, was selected. Subsequently, real-time environmental emotional intensity analysis was
conducted using the MTCNN face detector and OpenCV libraries. Several methods were developed for this analysis. The first method involves identifying emotions in all faces in frames per second and determining the
average emotion. The second method is to identify the average duration to make emotional changes more
distinct. The third method involves detecting individuals who are thought to have the greatest impact on
emotional intensity and defining them as main characters. The fourth method is conducting emotional intensity
analysis based on instant images. The fifth method involves analyzing emotional state changes through
variations in facial regions. The results of the study were applied to analyze emotional intensity in online
business meetings, and the emotional changes over time were graphically monitored. The findings were
suggested to be applicable in various environments such as seminars, lectures, and doctor-client meetings.
Bu çalışma, görüntü işleme ve yapay zekâ teknikleri kullanarak ortamlardaki duygu yoğunluğunu analiz
etmeyi amaçlamaktadır. Duygu analizi, görüntülerde tespit edilen insan yüzlerindeki temel duyguların
belirlenmesi olarak tanımlanırken; duygu yoğunluğu, bu verilerden matematiksel hesaplamalarla en yüksek
değere sahip olan duygu yoğunluk seviyesinin elde edilmesiyle belirlenir. Çalışmada, duygu tanımlama
modellerinin eğitimi için FER-2013 ve CK+48 gibi geniş veri setleri kullanılmıştır. EfficientNet-B7,
ConvLSTM ve Derin CNN gibi modellerin yanı sıra, basit bir CNN yapısı ile birlikte HOG, LBP ve SIFT gibi
özellik çıkarıcı yöntemler kullanılarak farklı doğruluk oranları elde edilmiştir. Bu oranlar sırasıyla %68,
%90.83, %85, %98.98, %60.91 ve %99.49 olarak kaydedilmiştir. Gerçek zamanlı olarak test edilen modeller
arasından en iyi performans gösteren Derin CNN modeli seçildikten sonra, MTCNN yüz dedektörü ve
OpenCV kütüphaneleri kullanılarak gerçek zamanlı ortam duygu yoğunluğu analizi gerçekleştirilmiştir. Bu
analiz için çeşitli yöntemler geliştirilmiştir. Bunlardan ilki, saniye başına düşen karelerdeki tüm yüzlerdeki
duyguların tanımlanması ve ortalama duygunun belirlenmesidir. İkinci yöntem duygu değişimlerinin
belirginleşmesi için ortalama sürenin tespit edilmesidir. Üçüncü yöntem; yoğunluğu değiştiren ve duygu
yoğunluğuna etkisinin en fazla olduğu düşünülen kişilerin tespit edilerek ana karakterlerin belirlenmesidir.
Dördüncü yöntem; anlık görüntüler üzerinden duygu yoğunluğu analizi yapılmasıdır. Beşinci yöntem ise; yüz
bölgelerinden değişimler ile duygu durumu değişimlerinin analiz edilmesidir. Çalışmanın sonuçları, çevrimiçi
iş toplantılarında duygu yoğunluğunu analiz etmek için uygulanmış ve grafiksel olarak zaman içerisindeki
duygu değişimleri izlenmiştir. Elde edilen bulgular, seminerler, dersler ve doktor-danışan görüşmeleri gibi
farklı ortamlarda da kullanılabilecek şekilde önerilmiştir.