Contrastive fine-tuning to improve generalization in deep NER

Переведенное название: Сопоставительное дообучение для повышения обобщающей способности нейросетевого распознавателя именованных сущностей

Результат исследования: Научные публикации в периодических изданияхстатьярецензирование

Аннотация

Предложен новый алгоритм двухэтапного дообучения нейросетевой языковой модели BERT для более эффективного распознавания именованных сущностей. Первый этап представляет собой дообучение BERT как Сиамской нейронной сети с использованием специальной сопоставительной функции потерь, а второй этап связан с окончательным дообучением распознавателя именованных сущностей как "традиционного"классификатора элементов последовательности. Добавление первого этапа, основанного на методе сопоставительного обучения, обеспечивает построение высокоуровневого признакового пространства на выходе нейросетевой языковой модели BERT с более компактными представлениями разных классов именованных сущностей. Эксперименты показывают, что такая схема дообучения повышает обобщающую способность распознавателей именованных сущностей на базе целого ряда предобученных языковых моделей BERT. Исходный код доступен под лицензией Apache 2.0 и размещен на GitHub https://github.com/bond005/runne_contrastive_ner
Переведенное названиеСопоставительное дообучение для повышения обобщающей способности нейросетевого распознавателя именованных сущностей
Язык оригиналаанглийский
Номер статьи8
Страницы (с-по)70-80
Число страниц11
ЖурналKomp'juternaja Lingvistika i Intellektual'nye Tehnologii
Номер выпуска21
DOI
СостояниеОпубликовано - 15 июн. 2022

Ключевые слова

  • распознавание именованных сущностей
  • сопоставительное обучение
  • Сиамские нейронные сети
  • BERT
  • NER

Предметные области OECD FOS+WOS

  • 1.02.EP ИНФОРМАТИКА, ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
  • 6.02.OT ЛИНГВИСТИКА

Fingerprint

Подробные сведения о темах исследования «Сопоставительное дообучение для повышения обобщающей способности нейросетевого распознавателя именованных сущностей». Вместе они формируют уникальный семантический отпечаток (fingerprint).

Цитировать