Facebook-ի նեյրոցանցը ձայնագրությամբ գուշակել է երաժշտի շարժումները

Facebook-ը ներկայացրել է նեյրոցանց, որը կարողանում է գուշակել երաժշտի շարժումները՝ լսելով միայն երաժշտության ձայնագրությունը:

Համակարգը լսում է երաժշտությունը և միևնույն ժամանակ կազմում է ավատար, որը սովորեցնում է նվագել  երաժշտությունը:

Ծրագրավորողները, որոնք ներկայացրին իրենց գաղափարը  Conference on Computer Vision and Pattern Recognition (CVPR)-ում, կարծում են, որ այս համակարգը կարող է օգտակար լինել երաժշտական գործիքներով նվագել սովորողների համար:

Այսօր երաժշտական գործիքներ նվագել սովորելու համար կան շատ հավելվածներ և օնլայն դասընթացներ: Սակայն դրանք թույլ են տալիս հետևել երաժշտի շարժումներին միայն կոնկրետ անկյունից: Օնլայն ուսուցչին վիրտուալ իրականության հարթակ բերելը կօգնի ավելի արագ սովորել նվագել:

Էլի Շլիզերմանի (Eli Shlizerman) գլխավորությամբ գործող խումբը որոշել էր պատրաստել վիրտուալ ավատար, որը թույլ կտա պատկերել երաժշտի շարժումները՝ միայն լսելով ձայնագրությունը: Դրա համար նրանք օգտագործել են LSTM-նեյրոցանցը:

Որպես տվյալների շտեմարան՝ համակարգի հեղինակներն օգտագործել են համացանցում հասանելի տեսագրություններ, որտեղ երաժիշտները նվագում են՝ առանց խմբի ուղեկցության: Դաշնամուրի համար հավաքագրվել է 3.6 ժամ տեսանյութ, իսկ ջութակի համար՝ 4.4 ժամ: Տեսագրությունների յուրաքանչյուր կադրում նեյրոցանցը որոշել է, թե որտեղ է երաժշտի ձեռքը, ինչպես է փոխվում դրա շարժումը, ինչպես են դասավորված երաժշտի մատները:

Իրենց փորձարկումների արդյունքները համակարգի հեղինակները ցույց են տվել տեսանյութի միջոցով:

Նշենք նաև, որ համակարգում օգտագործվել են վիրտուալ ավատարները: Հիմա վիրտուալ ավատարները համարվում են շատ տրենդային: Դրանք գալիս են լուծելու մի շարք խնդիրներ: Դրանց միջոցով նախատեսվում է հարցաքննել մեղադրյալներին, բուժել շիզոֆրենիան, ինչպես նաև՝ օգնել պարալիզացված մարդկանց:

Սիրարփի Աղաբաբյան