LaMDA — новая технология Google для обработки диалоговой речи

Одно из основных направлений работы Google — разработка технологий понимания естественного языка. Поисковый гигант создал отличные продукты: поиск, переводчик, ассистент, но при этом ни один из алгоритмов еще не совершенен в обработке естественной человеческой диалоговой речи. В диалоге присутствует все: информативность, образность, ирония, сарказм, которые машинным технологиям крайне сложно распознать и правильно интерпретировать. 

Другая сторона диалога — открытость. Любая беседа может начаться с обсуждения концерта, а завершиться критикой политического уклада страны. Предсказать такой поворот машины также пока не способны. 

LaMDA — новая технология Google для обработки диалоговой речи

Новая технология Google — LaMDA (Language Model for Dialogue Applications — языковая модель для диалогов) — направлена на обработку диалоговой речи:

пример диалога, построенного на LaMDA

Изменчивость диалога часто ставит в тупик повсеместно применяемых чатботов, которые запрограммированы вести беседу по определенным скриптам. Но LaMDA способна поддерживать диалог, перетекающий в разнообразные темы. Такая способность технологии расширит сферы применения чатботов, повысит результативность обращений. Эксперты Google полагают, что LaMDA откроет новые направления применения и позволит внедрить чатботов в совершенно новые сферы. 

Как создавалась LaMDA

Отдел работал над технологией долгие годы. Как и недавние модели обработки речи BERT и GPT-3, она построена на трансформерах — архитектуре нейронной сети, которую создал Google и выложил в открытый доступ в 2017 году. Нейросеть создает модель, способную прочитать и понять длинную цепочку слов и предложений (абзац или раздел), определить, как слова связаны друг с другом, и спрогнозировать, какие слова далее появятся в тексте.

В отличие от других моделей LaMDA обучалась на диалогах. Особый акцент в обучении делался на выбор открытых диалогов. В частности модель училась определять, насколько ответ подходит к предыдущей фразе или вопросу. Например:

— Я вчера пошел на курсы игры на гитаре.

— Супер! У моей мамы есть старая гитара Martin, она любит на ней играть.

Это уместный ответ на реплику. Но уместность — не единственный фактор хорошего ответа. Такие ответы, как “хорошо”, “не знаю”, “может быть” тоже уместны для большого количества абсолютно разных вопросов и реплик. Удовлетворительные же ответы четко соотносятся с контекстом реплики. В примере выше ответ уместный и удовлетворительный. 

В основе создания технологии LaMDA  — более ранее исследование Google, доказывающее, что модели, обученные на диалогах, могут поддержать практически любой диалог. LaMDA  способна обучаться, чтобы давать уместные и удовлетворительные ответы. 

Дальнейшее развитие технологии LaMDA 

Google был бы не Google, если бы не попытался усовершенствовать модель. Не интересно просто взять и создать очередную технологию обработки одного из аспектов речи (как, например, диалог). Эксперты продолжают работать над тем, чтобы повысить “интересность” ответов, а также оценивают, насколько ответы опираются на факты. Цель — научить модель давать аргументированный и фактически корректный ответ. 

Вторая критичная задача команды — исключить возможность злоупотребления такими моделями: распространение предубеждений, пропаганду ненависти, искажение фактов. Даже учитывая то, что модель обучается на модерированных речевых выборках, это не исключает возможности использования в корыстных целях. Для разработчиков, применяющих речевые модели и ИИ, Google создал отдельный ресурс, где собраны все инструменты и базы, используемые для обучения. 


Эта новость Google также доступна на Дзен-канале Miralinks!

7+
Поделиться: