AMD süni intellekt bazarında iştirakını artırmağa çalışdığı üçün istehsalçı bu ehtiyaclar üçün təkcə aparat istehsal etmir, həm də dil modellərini inkişaf etdirməyə qərar verib. Bunun nəticəsi ilk kiçik AMD-135M dilinin elanı oldu.
Yeni kiçik dilli model AMD-135M Llama ailəsinə aiddir və özəl bizneslərdə istifadəyə yönəlib. AMD-nin yeni süni intellekt modelinin şirkətin Silo AI startapını bu yaxınlarda alması ilə əlaqəsi olub-olmadığı bəlli deyil (sövdələşmə hələ yekunlaşmamışdır və müxtəlif tənzimləyicilər tərəfindən təsdiqlənməmişdir, buna görə də yəqin ki, yox). Bununla belə, bu, AMD tərəfindən öz avadanlığından istifadə edərək əvvəlcədən öyrədilmiş modellə xüsusi müştəri ehtiyaclarını qarşılamaq üçün aydın bir addımdır.
AMD-nin dil modelinin üstünlüyü ondan ibarətdir ki, o, spekulyativ deşifrə adlanandan istifadə edir. Sonuncu, bir irəli keçiddə çoxlu namizəd tokenləri yaradan daha kiçik bir «qaralama modeli» dir. Tokenlər daha sonra onları təsdiqləyən və ya düzəldən daha böyük, daha dəqiq “hədəf modelinə” ötürülür. Bir tərəfdən, bu yanaşma eyni vaxtda bir neçə token yaratmağa imkan verir, lakin digər tərəfdən, bu, məlumat ötürülməsinin artması səbəbindən enerji istehlakının artmasına səbəb olur.
AMD dil modeli iki versiyada təqdim olunur: AMD-Llama-135M və AMD-Llama-135M kodu. Onların hər biri spekulyativ dekodlaşdırma texnologiyasından istifadə edərək nəticə çıxarma performansını artırmaqla xüsusi tapşırıqlar üçün optimallaşdırılıb. AMD-Llama-135M baza modeli 670 milyard paylaşılan məlumatdan istifadə etməklə sıfırdan öyrədilib. Bu proses dörd 8 kanallı AMD Instinct MI250 əsaslı qovşaqdan istifadə etməklə altı gün çəkdi.
AMD-Llama-135M-kod modeli, öz növbəsində, xüsusi olaraq proqram kodunun yazılmasına yönəlmiş əlavə 20 milyard token əsasında əlavə təlim sayəsində təkmilləşdirilmişdir. Eyni AMD aparat dəstindən istifadə etməklə əlavə model təlimi dörd gün çəkdi. Şirkət hesab edir ki, onun modellərinin daha da optimallaşdırılması onların performansının və səmərəliliyinin daha da yaxşılaşmasına səbəb ola bilər.
