Çalışanın İş Sağlığı ve Güvenliği için Uygunluk Tespiti: Görüntü ve Ses İşleme ile Yorgunluk Tespiti ve Kişiye Özel Raporlama


Yapıcı A., Üstün R., Özcan H.

International journal of advances in engineering and pure sciences (Online), cilt.36, sa.3, ss.200-210, 2024 (Hakemli Dergi)

Özet

Günümüzde teknolojinin ilerlemesi, iş sağlığı ve güvenliği alanında çalışanların güvenliğini artırmaya yönelik yeni sistemlerin ortaya çıkmasına olanak tanımıştır. Ancak, tüm bu güvenlik önlemleri alındığında bile, işçinin yorgunluğunun güvenlikte kritik bir rol oynadığı unutulmamalıdır. Yorgun bir işçi, ne kadar güvenlik protokolü olursa olsun, bu protokolleri uygulamakta zorlanabilir. Bu nedenle, özellikle dikkat ve özen gerektiren endüstriyel görevlerde, çalışanların yorgun olup olmadığını belirlemenin hayati öneme sahip olduğu kabul edilmektedir. Çalışmada, işçilerin uzun ve kısa vadede işlerini sağlıklı bir şekilde sürdürebilmeleri adına yorgunluk tespitine odaklanıldı. Bu bağlamda, gerçek zamanlı video görüntülerini kullanarak, görüntü işleme teknikleriyle yüz tespiti gerçekleştirildi ve yüzdeki belirli referans noktaları haritalandı. Göz ve ağız açıklığı ile başın eğiklik seviyesi, yorgunluk belirtileri olarak belirlendi ve bu parametreler eşik değerlere göre değerlendirildi. Ayrıca, işçinin dikkatini ve bilgisini ölçmek amacıyla yorgunluk tespit sırasında iş sağlığı ve güvenliğiyle ilgili sesli ve görsel sorular da soruldu. Böylelikle işçinin belirli iş aktiviteleri ve ekipmanlar için ne kadar hazır olduğu belirlenmeye çalışıldı. Ek olarak, önerilen sistemde kullanılan yüz tanıma ile bireysel yorgunluk raporları hazırlandı. Deneysel çalışmalar sonucunda, önerilen sistemin öznel veri setindeki performansı doğruluk %80, kesinlik %85, duyarlılık %73 ve F1 skoru %75 olarak hesaplanmıştır. YawDD veri seti üzerinde ise doğruluk %95.99, kesinliği %96.83, duyarlılığı %95.58 ve F1 skoru %95.59 olarak belirlenmiştir.

Advancements in technology today have enabled the emergence of new systems aimed at increasing worker safety in the field of occupational health and safety. However, even with all these safety measures in place, it must not be forgotten that a worker's fatigue plays a critical role in safety. A tired worker may struggle to comply with safety protocols, regardless of how many are in place. Therefore, especially in industrial tasks that require attention and diligence, determining whether workers are fatigued is considered of vital importance. The study focused on detecting fatigue to ensure workers can sustain their work healthily in the long and short term. In this context, real-time video footage was utilized, and facial detection was performed using image processing techniques, mapping specific reference points on the face. Eye and mouth openness, along with the level of head tilt, were identified as signs of fatigue, and these parameters were evaluated against threshold values. Additionally, during fatigue detection, audio and visual questions related to occupational health and safety were asked to measure the worker's attention and knowledge. Thus, it was attempted to determine how prepared the worker was for certain work activities and equipment. Furthermore, individual fatigue reports were prepared using facial recognition in the proposed system. As a result of experimental studies, the performance of the proposed system on the subjective data set was calculated as accuracy 80%, precision 85%, recall 73% and F1 score 75%. On the YawDD dataset, accuracy was determined as 95.99%, precision as 96.83%, recall as 95.58% and F1 score as 95.59%s.