Çinli tədqiqatçılar qısa videolardakı musiqinin emosional xüsusiyyətlərini avtomatik müəyyənləşdirən SALF-Net adlı süni intellekt modeli hazırlayıblar. Yeni sistem musiqini “şən”, “romantik”, “enerjili” və “motivasiyaedici” kimi kateqoriyalara ayıra bilir. Üstəlik, səs yazısı keyfiyyətsiz olduqda və ya mahnının sözləri eşidilmədikdə də işləmək qabiliyyətini qoruyur.

HİT.az xəbər verir ki, tədqiqatın nəticələri “Scientific Reports” jurnalında dərc olunub.

Model Çinin Cimei Universitetinin Musiqi Kollecindən Liu Çjiçi və həmkarları tərəfindən hazırlanıb. Tədqiqatçıların məqsədi TikTok kimi platformalarda hər gün yayımlanan çoxsaylı qısa videolardakı musiqilərin emosional xüsusiyyətlərini avtomatik təhlil etməkdir. Ənənəvi audioanaliz sistemləri əsasən tamhəcmli mahnılar üçün nəzərdə tutulduğundan, üzərinə danışıq səsi əlavə edilmiş və ya cəmi 8–30 saniyə davam edən musiqi parçalarını təhlil etməkdə çətinlik çəkir.

SALF-Net səs məlumatlarını təhlil edən xüsusi modul ilə mahnı sözlərini oxuya bilən dil modelini birləşdirir. Sistem mahnı sözləri olmadıqda da işləyə bilir. Bu xüsusiyyət instrumental musiqilərin və keyfiyyətsiz səs yazılarının təhlilini asanlaşdırır.

Model 30 min qısa video üzərində sınaqdan keçirilib və nəticələri Alibaba-nın Qwen-Audio, eləcə də “Nvidia”nın Audio Flamingo sistemləri ilə müqayisə olunub. Tədqiqatın nəticələrinə görə, SALF-Net rəqiblərindən daha yaxşı nəticə göstərib: müəyyənləşdirdiyi emosional etiketlərin 61,8 faizi qiymətləndiricilər tərəfindən uyğun hesab edilib, səhvlərin sayı isə müqayisə edilən sistemlərlə müqayisədə təxminən iki dəfə az olub.

Modelin yüngülləşdirilmiş versiyası bir videonu cəmi 11 millisaniyəyə təhlil edir. Əlavə sıxışdırmadan sonra bu müddət 7 millisaniyəyədək azalır. Tədqiqatçıların hesablamalarına əsasən, orta səviyyəli bir videokartla gündə 12 milyondan çox videonu emal etmək mümkündür.

Bununla belə, sistemin məhdudiyyətləri də var. Hazırda onun emosional etiketlər lüğəti sabitdir və ingilis dilindədir. Buna görə də internetdə yaranan yeni ifadələri və dəyişən emosional çalarları müəyyənləşdirmək imkanları hələ məhduddur.

Samir