Google Research, yapay zeka alanında önemli bir adım atarak kullanıcı verilerini korumayı hedefleyen yeni bir büyük dil modeli (LLM) geliştirdi. VaultGemma adı verilen model, eğitim verilerini “hafızasında tutma” olasılığını azaltan diferansiyel gizlilik (differential privacy) tekniklerini kullanıyor. AI ve gizlilik sorunu
Büyük yapay zeka modelleri geliştiren şirketler, genellikle yüksek kaliteli eğitim verisi bulmakta zorlanıyor. Web üzerindeki verileri toplarken kullanıcıların hassas bilgilerinin ‘kazara’ modele dahil olma riski artıyor. Daha önce de ele aldığımız gibi LLM’lerin çıktıları belirsizdir; yani ne söyleyeceklerini tahmin etmek çoğu durumda imkansızdır. Hatta aynı girdiler kullanılsa bile çıktılar değişiklik gösterebilir veya model, eğitim verilerinden bir şeyleri doğrudan tekrarlayabilir.
Haliyle hassas bilgiler modelin eğitimine dahil olursa, modelin çıktılarında birebir tekrar edilebilir ve kullanıcı gizliliği ihlal edilebilir. Ayrıca, telifli içeriklerin modele karışması geliştiriciler için ayrı bir sorun yaratabiliyor.
Diferansiyel gizlilik, eğitim sırasında modele kalibre edilmiş rastgele gürültü ekleyerek bu tür “hafıza” risklerini azaltıyor. Ancak bu yöntem, modelin doğruluğu ve hesaplama gereksinimleri üzerinde etkili olabiliyor. Google Research ekibi, diferansiyel gizliliğin model ölçekleme yasaları üzerindeki etkisini araştırarak gürültü ve veri miktarının doğru dengelenmesinin performans üzerinde belirleyici olduğunu ortaya koydu. Bu araştırmalar da VaultGemma’yı doğurdu. VaultGemma nasıl geliştirildi?
VaultGemma, Google’ın Gemma 2 temel modeli üzerine inşa edildi ve yaklaşık 1 milyar parametreye sahip. Modelin boyutu büyük olmasa da benzer boyuttaki gizlilik uygulanmamış modellerle karşılaştırıldığında performans açısından rekabetçi olduğu belirtiliyor. Araştırma ekibi, diferansiyel gizlilik uygulamasının daha küçük, özel amaçlı LLM’lerde daha verimli çalıştığını vurguluyor. Google, VaultGemma’yı açık ağırlıklı model olarak yayımladı. Yani kullanıcılar modeli indirebilir ve değiştirebilir, ancak kötüye kullanım yasağı ve Gemma lisansının dağıtımı gibi sınırlamalara uymaları gerekiyor. Model şu anda Hugging Face ve Kaggle üzerinden erişilebiliyor.
