Dijital Multimedya Güvenliği Için Ses Kopyala-Yapıştır, Ses Birleştirme Ve Sentezlenmiş Ses Sahteciliklerinin Akıllı Yöntemler Kullanılarak Tespiti

TÜBİTAK Projesi, 2022 - 2023

Proje Türü: TÜBİTAK Projesi
Başlama Tarihi: Mayıs 2022
Bitiş Tarihi: Mayıs 2023

Proje Özeti

Günümüzde teknolojik ilerlemeler düşünüldüğü zaman dijital multimedya hayatımızın önemli bir noktasındadır. Akıllı cihazlara ve internete ulaşım artık daha kolay ve ucuzdur. Bu durum birçok avantaj sağladığı gibi beraberinde birçok dezavantaj ortaya çıkarmaktadır. Ses, görüntü ve video alanında artık profesyonel bir eğitim almamış kişiler bile cep telefonları, akıllı cihazlar ve internet üzerinden bu dosyalar üzerinde değişiklik yapabilmektedir. Ses, görüntü ve videolardaki değişimler kimi zaman şantaj kimi zaman ise mahkemede aleyhe delil olarak kullanma ve terör olayları gibi birçok olay içinde kanıt olarak kullanılmaktadır. Fakat yapılan ses, görüntü ve videolardaki değişimler ile verinin bütünlüğü ve gerçekliği bozulmaktadır. Bu sebepten dolayı dijital verilerin bütünlüğünün ve orjinalliğinin doğrulanması oldukça önemlidir. Literatürdeki çalışmalar incelendiğinde görüntü ve videolarda sahtecilik tespiti çalışmalarının ses sahtecilik tespiti çalışmalarına kıyasla daha uzun süredir devam ettiği ve bu alanlarda daha fazla çalışma yapıldığı bilinmektedir. Ses sahtecilik tespiti alanında yapılan çalışmaların ise görüntü ve videolardaki sahtecilik tespitinden daha az olduğu görülmektedir. Birçok araştırmacı tarafından ses sahtecilik tespiti çalışmalarının az olduğu ve bu alanda daha fazla çalışma yapılması gerektiği vurgulamaktadırlar.

Önerilen projede ses kopyala-yapıştır sahteciliği, ses birleştirme sahteciliği ve ses sinyalinin sentezlenmiş olup olmadığı tespit edilecektir. Bunun için öncelikle, ses birleştirme ve ses kopyala-yapıştır sahteciliklerini içeren bir veri tabanı oluşturulacaktır. Oluşturulan veri tabanına farklı ataklar uygulanıp sahtecilik izleri ortadan kaldırılmaya çalışılacaktır. Sentezlenmiş konuşmaları tespit edebilmek için ise ASVSpoof veri tabanı kullanılacaktır. Ses kopyala-yapıştır sahteciliği ve ses birleştirme sahteciliğinin tespiti için Mel Frekansı Kepstrum Katsayıları (MFCC), Delta MFCC, Delta-Delta MFCC, Yapay Sinir Ağları (YSA), Tekrarlayan Sinir Ağı (RNN), Konvolüsyonel Sinir Ağları (CNN), Uzun Kısa Vadeli Hafıza Ağları (LSTM) metotları kullanılacaktır. Sentezlenmiş ses sinyallerinin tespit edilmesi için ise Tekrarlayan Sinir Ağı (RNN), Konvolüsyonel Sinir Ağları (CNN), Uzun Kısa Vadeli Hafıza Ağları (LSTM) metotları kullanılacaktır. Proje kapsamında yapılacak olan çalışmalar, ses kayıtları üzerine yapılan sahteciliklerin tespit edilmesi ve çözüm yöntemlerinin geliştirilmesi üzerine odaklanacaktır. Açık problemler için önerilen yöntemlerin her biri, literatüre önemli katkılar sağlayacağı düşünülmektedir.