Google Məxfilikə Yönəlmiş Süni Zəka Modellini Təqdim Edir

Google Research, süni intellekt sahəsində məxfiliyə xüsusi önəm verən yeni bir model – VaultGemma-nı təqdim etdi. Diferensial məxfilik texnologiyası ilə sıfırdan hazırlanmış bu güclü böyük dil modeli, 1 milyard parametrə malikdir və Hugging Face və Kaggle platformalarında açıq mənbə kimi yayımlanıb. Həm tədqiqatçılar, həm də şirkətlər bu modeldən istifadə edə bilərlər.

VaultGemma, məlumatların birbaşa əldə edilməsinin qarşısını almaq üçün məşq prosesinə nəzarət olunan səs-küy əlavə edən diferensial məxfilik üsulu ilə hazırlanıb. Bu üsul, modelin sabit şəkildə öyrənməsi üçün daha böyük məlumat dəstlərini və yüksək hesablama gücünü tələb edir. Google, DeepMind ilə əməkdaşlığı sayəsində bu prosesi idarə etmək üçün yeni miqyaslaşdırma qanunlarını müəyyənləşdirib və məxfilik ilə performans arasında tarazlığı taparaq VaultGemma modelini yaratdı.

Modelin əsas texniki xüsusiyyəti yalnız 3 milyard aktiv parametr ilə işləməsidir. Bu struktur, performansdan əl çəkmədən effektivliyi təmin edir. Eyni zamanda, 256.000-ə qədər simvol uzunluğunda mətnləri emal edə bilir və RoPE metodları ilə bu hədd 1 milyona qədər artırıla bilər. Bu rəqəm, bu günün ən inkişaf etmiş kommersiya AI modelləri ilə müqayisə olunandır.

VaultGemma-nın ən diqqətəlayiq xüsusiyyətlərindən biri də təmin etdiyi məxfilik zəmanətidir. Model ε ≤ 2.0 və δ ≤ 1.1e-10 səviyyəsində ciddi məxfilik zəmanəti ilə hazırlanıb. Bu zəmanət, riyazi olaraq təlim nümunəsinin modelin çıxışına əhəmiyyətli dərəcədə təsir etməsinin qarşısını alır. Google-un testləri göstərib ki, VaultGemma məşq zamanı gördüyü məlumatları yadda saxlamır və ya təkrar etmir.

Performans baxımından isə VaultGemma, beş il əvvəlki GPT-2 kimi modellərlə eyni səviyyədədir. Bu, məxfiliyin hesablama dəyərinin hələ də yüksək olduğunu göstərsə də, müasir diferensial məxfilik metodlarının artıq praktik olaraq istifadə edilə biləcək səviyyəyə çatdığını sübut edir. Bu işlə Google, həm açıq mənbəli bir model, həm də gələcək məxfilikə yönəlmiş süni intellekt inkişafı üçün etibarlı bir yol xəritəsi təqdim edir.