Xiaomi ilk AI modelini təqdim etdi.MiMo düşünə, hesablama apara və kod yarada bilər. MiMo-7B 7 milyard parametrə malikdir və OpenAI və Alibaba-nın daha böyük həlləri ilə müqayisə edilə bilən performans nümayiş etdirir.
Yenilik Xiaomi Big Model Core Team tərəfindən həyata keçirilib. 7 milyard parametrli modelin səmərəliliyi yaxşı düşünülmüş təlim öncəsi və möhkəmləndirmə öyrənmə strategiyası ilə təmin edilir. Kiçik ölçüsünə görə, model korporativ müştərilər və məhdud resursları olan cihazlar üçün potensial olaraq uyğundur.
Təlim üçün 25 trilyon token və 200 milyard əsaslandırıcı tokendən ibarət xüsusi bir dəst istifadə edilmişdir. Təlim zamanı qabaqcıl məlumat filtrindən, çox işarəli proqnozlaşdırmadan və təlim nümunələrinin çoxmərhələli qarışdırılmasından istifadə edilmişdir. Bu, məntiqi nümunələrin yüksək sıxlığına nail olmağa imkan verdi. Təlimdən sonrakı mərhələdə MiMo 130 min riyaziyyat və proqramlaşdırma tapşırığını «qidalandırdı» və daha sonra Seamless Rollout Engine sürətləndirilmiş nəticə çıxarma sistemi ilə optimallaşdırıldı. Bu yanaşma təlim sürətini 2,29 dəfə, yoxlama sürətini 1,96 dəfə artırdı, həmçinin nəticə çıxarma sisteminin RL alqoritmlərinin dayanıqlığını artırdı.
MiMo dörd versiyada mövcuddur. Məsələn, flaqman MiMo-7B-RL (performans baxımından OpenAI-dən o1-mini ilə müqayisə edilə bilər) riyaziyyat testlərində, proqramlaşdırmada və ümumi mətni anlamada yüksək nəticələr nümayiş etdirir.
Bütün modellər açıq mənbədir və Hugging Face və GitHub-da mövcuddur.
