MIPT-NSU-UTMN at SemEval-2021 Task 5: Ensembling Learning with Pre-trained Language Models for Toxic Spans Detection

Mikhail Kotyushev, Anna Glazkova, Dmitry Morozov

Результат исследования: Публикации в книгах, отчётах, сборниках, трудах конференцийстатья в сборнике материалов конференциинаучнаярецензирование

1 Цитирования (Scopus)

Аннотация

This paper describes our system for SemEval-2021 Task 5 on Toxic Spans Detection. We developed ensemble models using BERT-based neural architectures and post-processing to combine tokens into spans. We evaluated several pre-trained language models using various ensemble techniques for toxic span identification and achieved sizable improvements over our baseline fine-tuned BERT models. Finally, our system obtained a F1-score of 67.55% on test data.

Язык оригиналаанглийский
Название основной публикацииSemEval 2021 - 15th International Workshop on Semantic Evaluation, Proceedings of the Workshop
РедакторыAlexis Palmer, Nathan Schneider, Natalie Schluter, Guy Emerson, Aurelie Herbelot, Xiaodan Zhu
ИздательAssociation for Computational Linguistics (ACL)
Страницы913-918
Число страниц6
ISBN (электронное издание)9781954085701
СостояниеОпубликовано - 2021
Событие15th International Workshop on Semantic Evaluation, SemEval 2021 - Virtual, Bangkok, Таиланд
Продолжительность: 5 авг. 20216 авг. 2021

Серия публикаций

НазваниеSemEval 2021 - 15th International Workshop on Semantic Evaluation, Proceedings of the Workshop

Конференция

Конференция15th International Workshop on Semantic Evaluation, SemEval 2021
Страна/TерриторияТаиланд
ГородVirtual, Bangkok
Период05.08.202106.08.2021

Предметные области OECD FOS+WOS

  • 1.02 КОМПЬЮТЕРНЫЕ И ИНФОРМАЦИОННЫЕ НАУКИ

Fingerprint

Подробные сведения о темах исследования «MIPT-NSU-UTMN at SemEval-2021 Task 5: Ensembling Learning with Pre-trained Language Models for Toxic Spans Detection». Вместе они формируют уникальный семантический отпечаток (fingerprint).

Цитировать