LLM Distilasyonu & Alana Özgü UzmanlaşmaLLM Distillation & Domain Specialization
- ProblemProblem
- Kısıtlı GPU belleğiyle kurum mevzuatına doğru yanıt veren bir LLM asistanı geliştirmek.Build an LLM assistant that answers institutional regulation questions accurately with limited GPU memory.
- KatkımMy contribution
- Qwen-2.5-7B için bilgi damıtma süreci kurdum; Unsloth ve 500 satırlık bağlam odaklı sentetik veri kullandım.Built a knowledge-distillation pipeline for Qwen-2.5-7B using Unsloth and 500 lines of context-aware synthetic data.
- SonuçResult
- Deneysel değerlendirmede %96,7 doğruluk. GPU bellek ihtiyacı 40 GB → 16 GB: %60 azalma.96.7% accuracy in the experimental evaluation. GPU memory requirements fell from 40 GB to 16 GB: a 60% reduction.
Düzce Üniversitesi Mevzuat Uzmanı · Lisans tezi · Danışman: Prof. Dr. Pakize ErdoğmuşDüzce University Regulation Expert · Bachelor’s thesis · Advisor: Prof. Pakize Erdoğmuş









