Получив запись конкретного голоса, VALL-E может синтезировать аудиозапись того, как человек говорит что-либо, стараясь сохранить его эмоциональный тон. Сама технология представляет из себя нейронную языковую модель, в основе которой лежит EnCodec. С его помощью VALL-E разделяет голоса человека на отдельные компоненты.
Эти компоненты, так называемые «лексемы», нейросеть сопоставляет с соответствующими голосами в своих обучающих данных для создания новых фраз за пределами первоначального трёхсекундного образца.
Microsoft не опубликовала код VALL-E в открытом доступе из-за потенциального риска неправильного использования. К таковым в компании отнесли подмену идентификации голоса или выдачу себя за другую личность.
Эти компоненты, так называемые «лексемы», нейросеть сопоставляет с соответствующими голосами в своих обучающих данных для создания новых фраз за пределами первоначального трёхсекундного образца.
Microsoft не опубликовала код VALL-E в открытом доступе из-за потенциального риска неправильного использования. К таковым в компании отнесли подмену идентификации голоса или выдачу себя за другую личность.