Нейросеть поможет в создании новостных заголовков ВКонтакте
Из недавних официальных заявлений пресс-службы команды прикладных исследований Vkontakte стало известно о создании нейросети. Данный процесс помогает в формировании новостных подзаголовков на выбранном пользователем языке (русском либо английском).
Недавно в Кёльне прошло одно важное событие – Европейская конференция European Conference On Information Retrieval 2019, на которой провели презентацию нейросети.
Принцип работы достаточно прост – модель обрабатывает полученную текст, из фрагментов слов которого генерируется подзаголовок к статье. Подобный вариант работы поможет нейросети выбирать для названия правильные склонения слов, верные падежи в заголовках.
Для нейросети объединили Byte Pair Encoding (технология компрессии данных BPE) и архитектуру Universal Tranformer. Они помогают ограничиваться небольшим словарем для генерирования правильного заголовкак новости.
Нейросеть в процессе использования будет «обучаться». Для этого будут использованы материал, взятые из следующих источников:
- РИА Новости;
- The New York Times.
Основная особенность созданной нейросети – использование технологии BPE для суммаризации текста. Также примечательно, что для обучения данной модели использовались русскоязычные новостные материалы.
Перед запуском нейросети ВКонтакте провели исследование, во время которого добровольцы смогли прочесть новость и оценить 2 заголовка, что сгенерировались специально для нее. Добровольцы отметили, что в 15% машинный заголовок стал даже более логичный по сравнению с оригинальным.
Нейросеть способна вытянуть из предложенного даже достаточно длинного текста основную мысль, чтоб пользователь смог быстро для себя определить, полезна ли ему статья либо информация для него неактуальная (не интересная). Это позволяет облегчить жизнь пользователей социальной сети VK среди огромного потока информации, количество которого неуклонно растет.