TÜRKÇE ALAN-ÖZEL SORU-CEVAP GÖREVLERİNDE AÇIK KAYNAK BÜYÜK DİL MODELLERİNİN KARŞILAŞTIRMALI DEĞERLENDİRMESİ

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2026

Tezin Dili: Türkçe

Öğrenci: Mehmet Aksoy

Danışman: Halil Yiğit

Özet:

Dış ağlardan yalıtılmış kurumsal ortamlarda açık kaynak büyük dil modellerinin (BDM)

konuşlandırılması; veri gizliliği, operasyonel maliyet, görev başarımı, güvenilirlik

ve denetlenebilirlik gibi boyutlar arasında dengeli bir model seçimi yapılmasını

gerektirmektedir. Mevcut değerlendirme çerçeveleri çoğunlukla biçimsel kalite

metrikleriyle sınırlı kalmakta; erişim destekli üretim (RAG) ve parametre verimli

ince ayar (PEFT) yöntemlerinin etkilerini kontrollü biçimde karşılaştırmada yetersiz

kalmaktadır. Bu tezde, açık kaynak BDM seçimini çok kriterli bir karar problemi olarak

ele alan HCMDP (Hierarchical, Cost-aware, Multi-Dimensional Protocol) protokolü

önerilmiştir. Protokol; Temel Çıkarım, Dondurulmuş Bağlamlı RAG, QLoRA Tabanlı

PEFT ve Hibrit yapılandırmalarını 2 × 2 faktöriyel bir matriste karşılaştırmakta; erişim

kaynaklı değişkenliği kontrol etmeyi amaçlayan Dondurulmuş Erişim Adaleti ilkesini

tanıtmakta ve değerlendirmeyi kalite, sadakat, erişim, güvenlik, belirsizlik, maliyet, çok

turlu diyalog, çekişmeli dayanıklılık ve uzun bağlam olmak üzere dokuz boyut üzerinden

hiyerarşik biçimde puanlamaktadır.

Protokol, Dive into Deep Learning eserinin Türkçe çevirisinden Gemini 2.5 Pro

API kullanılarak üretilen 7.226 soru-cevap çiftinden oluşan veri kümesi üzerinde

uygulanmıştır. Deneylerde altı açık kaynak model (Mistral-7B, Llama-3.1-8B,

Phi-4-mini, Qwen3-8B, Gemma-2-9B, DeepSeek-R1) dört konuşlandırma senaryosu

altında değerlendirilmiş; toplamda 24 model-senaryo yapılandırması ve 28.848 bireysel

çıktı incelenmiştir. Bulgular, S4 Hibrit yapılandırmasının en yüksek biçimsel kalite

puanlarını (ROUGE-L 0,265; BERTScore 0,738) elde ettiğini; ancak aynı zamanda

%77-81 aralığında yüksek NLI tabanlı halüsinasyon oranlarını ürettiğini göstermektedir.

Halüsinasyon-Kalite Paradoksu olarak adlandırılan bu gözlem, kalite metriklerinin

kurumsal güvenilirlik için tek başına yeterli olmadığını göstermektedir. HCMDP, dış

ağlardan yalıtılmış kurumlar için risk, maliyet ve kalite ödünleşimini denetlenebilir ve

yeniden üretilebilir biçimde ele alan bir karar destek çerçevesi sunmaktadır.