Experiments on transfer learning architectures for biomedical relation extraction - Archive ouverte HAL Access content directly
Conference Papers Year :

Experiments on transfer learning architectures for biomedical relation extraction

Expérimentations autour des architectures d'apprentissage par transfert pour l'extraction de relations biomédicales

(1) , (2) , (1) , (1, 3)
1
2
3

Abstract

Relation extraction (RE) consists in identifying and structuring automatically relations of interest from texts. Recently, BERT improved the top performances for several NLP tasks, including RE. However, the best way to use BERT, within a machine learning architecture, and within a transfer learning strategy is still an open question since it is highly dependent on each specific task and domain. Here, we explore various BERT-based architectures and transfer learning strategies (i.e., frozen or fine-tuned) for the task of biomedical RE on two corpora. Among tested architectures and strategies, our *BERT-segMCNN with fine-tuning reaches performances higher than the state-of-the-art on the two corpora (1.73 % and 32.77 % absolute improvement on ChemProt and PGxCorpus corpora respectively). More generally, our experiments illustrate the expected interest of fine-tuning with BERT, but also the unexplored advantage of using structural information (with sentence segmentation), in addition to the context classically leveraged by BERT.
L'extraction de relations (ER) consiste à identifier et à structurer automatiquement des relations à partir de textes. Récemment, BERT a permis d'améliorer les performances de plusieurs tâches de TAL, dont l'ER. Cependant, la meilleure façon d'utiliser BERT, dans une architecture d'apprentissage automatique avec une stratégie par transfert reste une question ouverte, car elle dépend à la fois de la tâche et du domaine d'application. Dans ce travail, nous explorons diverses architectures d'ER qui s'appuient sur BERT et deux stratégies de transfert (gel des poids ou réglage fin) sur deux corpus biomédicaux. Parmi les architectures et stratégies de transfert testées, *BERT-segMCNN avec réglage fin atteint des performances supérieures à l'état de l'art sur les deux corpus (amélioration absolue de 1,73% et 32,77% sur ChemProt et PGxCorpus respectivement). Nos expériences illustrent l'intérêt attendu du réglage fin avec BERT, et de façon plus originale l'intérêt d'ajouter aux représentations de BERT une information structurelle en considérant la segmentation des phrases.
Fichier principal
Vignette du fichier
hafiane_et_al_fr.pdf (806.65 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03073601 , version 1 (16-12-2020)

Identifiers

  • HAL Id : hal-03073601 , version 1

Cite

Walid Hafiane, Joël Legrand, Yannick Toussaint, Adrien Coulet. Expérimentations autour des architectures d'apprentissage par transfert pour l'extraction de relations biomédicales. EGC 2021 - 21ème édition de la conférence "Extraction et Gestion des Connaissances", Jan 2021, Montpellier / Virtuel, France. ⟨hal-03073601⟩
206 View
221 Download

Share

Gmail Facebook Twitter LinkedIn More