. .. Frozen,

. .. Finetuning,

. .. Stabilité, , p.48

.. .. Analyse-d'erreur,

, 37 % F-micro sur ChemProt, ce qui présente une amélioration absolue de 1.73%. En plus ce modèle offre une meilleure stabilité avec un écart-type valant 0.67. Notre architecture BERT-CNN apporte une légère amélioration par

, Pour répondre à la problématique du stage, nous avons utilisé des méthodes d'apprentissage par transfert transductif de « type transfert de domaine » avec deux stratégies différentes (frozen et fine-tuning), L'amélioration des performances d'extraction de relation sur PGxCorpus est une étape importante dans l'étude de l'influence des gènes sur la réponse aux médicaments dans le cadre du projet PractiKPharma

, avec l'extraction des informations locales latentes dans les vecteurs de représentation à travers un CNN, et l'exploitation de l'information structurale à travers la segmentation a permis à notre architecture CNN-segmentation de dépasser l'état de l'art avec des écarts significatifs : 1.73 % amélioration absolue en F-micro par rapport à l'état de l'art Beltagy et al. [2] sur le corpus ChemProt et 32.77 % amélioration absolue en F-macro par

, La visualisation des données par la méthode T-SNE et ACP a révélé la difficulté de la classification en espaces des caractéristiques accordée à la stratégie frozen par rapport au fine-tuning. Nous avons aussi constaté via la visualisation que notre modèle semble suivre la hiérarchie des relations dans son apprentissage. Par l'analyse d'erreurs nous avons remarqué que nos modèles font plus d'erreurs sur les classes rares pour ChemProt et que la plupart des erreurs faites dans PGxCorpus sont des erreurs liées à la hiérarchie des relations. Le transfert a prouvé sa capacité d'amélioration, l'application du transfert appliquée à plusieurs reprises avec des données différentes et des tâches différentes peut conduire à une amélioration supérieure à celle déjà atteinte. Nous avons entamé des tests consistant à appliquer un deuxième transfert du domaine en utilisant un modèle multi-têtes, Les premiers résultats obtenus pour PGxCorpus et ChemProt respectivement sont présentés dans les tableaux (A1) et (A2), et ils montrent un transfert négatif

, Figure A9 -La matrice de confusion du modèle BioBERT-CNN-segmentation sur Chem-Prot utilisant la stratégie fine-tune

J. L. Ba, J. R. Kiros, and G. E. Hinton, Layer Normalization

. Corr, , 2016.

I. Beltagy, K. Lo, and A. Cohan, SCIBERT : A Pretrained Language Model for Scientific Text, EMNLP/IJCNLP, pp.3615-3620, 2019.

B. Bokharaeian, A. Diaz, N. Taghizadeh, H. Chitsaz, and R. Chavoshinejad, SNPPhenA : A corpus for extracting ranked associations of single-nucleotide polymorphisms and phenotypes from literature, Journal of Biomedical Semantics, vol.8, issue.1, pp.1-13, 2017.

J. Chen and R. Hoehndorf, Efficient Long-distance Relation Extraction With Dg-spanbert. CoRR abs, 2004.

Y. Chen, K. Wang, and W. Yang, Yongbin Qing, Ruizhang Huang, and Ping Chen. A Multi-Channel Deep Neural Network for Relation Extraction, IEEE Access, vol.8, pp.13195-13203, 2020.

R. Collobert, J. Weston, L. Bottou, M. Karlen, K. Kavukcuoglu et al., Natural language processing (almost) from scratch, J. Mach. Learn. Res, vol.999888, pp.2493-2537, 2011.

J. Devlin, M. Chang, K. Lee, and K. T. Bert, Pretraining of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, (Mlm), 2018.

G. Zhi-qiang-geng, Y. M. Chen, G. Han, F. Lu, and . Li, Semantic relation extraction using sequential and tree-structured LSTM with attention, Information Sciences, vol.509, pp.183-192, 2020.

I. Hendrickx, S. N. Kim, Z. Kozareva, P. Nakov, D. O. Séaghdha et al., SemEval-2010 task 8 : Multi-way classification of semantic relations between pairs of nominals. ACL 2010 -SemEval 2010 -5th International Workshop on Semantic Evaluation, Proceedings, pp.33-38, 2010.

S. Ioffe and C. Szegedy, Batch normalization : Accelerating deep network training by reducing internal covariate shift, 32nd International Conference on Machine Learning, ICML 2015, vol.1, pp.448-456, 2015.

P. Diederik, J. L. Kingma, and . Ba, Adam : A method for stochastic optimization, 3rd International Conference on Learning Representations, ICLR 2015 -Conference Track Proceedings, pp.1-15, 2015.

J. Kringelum, S. K. Kjaerulff, S. Brunak, O. Lund, T. I. Oprea et al., ChemProt-3.0 : A global chemical biology diseases mapping, Database, pp.1-7, 2016.

Z. Lan, M. Chen, S. Goodman, K. Gimpel, P. Sharma et al., ALBERT : A Lite BERT for Self-supervised Learning of Language Representations, ICLR, pp.1-17, 2019.

J. Lee, W. Yoon, S. Kim, D. Kim, S. Kim et al., BioBERT : A pre-trained biomedical language representation model for biomedical text mining, Bioinformatics, vol.36, issue.4, pp.1234-1240, 2020.

J. Legrand, R. Gogdemir, C. Bousquet, K. Dalleau, M. D. Devignes et al., Malika Smaïl-Tabbone, Yannick Toussaint, and Adrien Coulet. PGx-Corpus, a manually annotated corpus for pharmacogenomics. Scientific Data, vol.7, pp.1-13, 2020.

J. Legrand, Y. Toussaint, C. Raïssi, and A. Coulet, Syntax-based Transfer Learning for the Task of Biomedical Relation Extraction, Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis, pp.149-159, 2019.
URL : https://hal.archives-ouvertes.fr/hal-01869071

C. Li and Y. Tian, Downstream Model Design of Pre-trained Language Model for Relation Extraction Task, ArXiv, pp.1-15, 2020.

Q. Li, L. Li, W. Wang, Q. Li, J. Zhong et al., A comprehensive exploration of semantic relation extraction via pre-trained CNNs. Knowledge-Based Systems, 2020.

Z. Li, J. Yang, X. Gou, and X. Qi, Recurrent neural networks with segment attention and entity description for relation extraction from clinical texts, Artificial Intelligence in Medicine, vol.97, pp.9-18, 2018.

Y. Lin, S. Shen, Z. Liu, H. Luan, and M. Sun, Neural relation extraction with selective attention over instances, 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016 -Long Papers, vol.4, pp.2124-2133, 2016.

I. Loshchilov and F. Hutter, Decoupled weight decay regularization, 7th International Conference on Learning Representations, 2019.

C. Manning, M. Surdeanu, J. Bauer, J. Finkel, S. Bethard et al., The stanford corenlp natural language processing toolkit. ACL (System Demonstrations), pp.55-60, 2014.

T. Mikolov, K. Chen, G. Corrado, and J. Dean, Efficient estimation of word representations in vector space, International Conference on Learning Representations, 2013.

P. Monnin, J. Legrand, G. Husson, and P. Ringot, PGxO and PGxLOD : A reconciliation of pharmacogenomic knowledge of various provenances, enabling further comparison, Clément Jonquet, Amedeo Napoli, and Adrien Coulet, vol.20, pp.1-23, 2019.
URL : https://hal.archives-ouvertes.fr/hal-02103899

E. Nourani and V. Reshadat, Association extraction from biomedical literature based on representation and transfer learning, Journal of Theoretical Biology, vol.488, p.110112, 2020.

, Sinno Jialin Pan and Qiang Yang Fellow. A Survey on Transfer Learning. IEEE Xplore, pp.1-15, 2009.

J. Pennington, R. Socher, and C. D. Manning, Glove : Global vectors for word representation, Conference on Empirical Methods in Natural Language Processing, pp.1532-1543, 2014.

M. E. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark et al.,

, NAACL HLT 2018 -2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies -Proceedings of the Conference, vol.1, pp.2227-2237, 2018.

M. E. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark et al., Improving Language Understanding by Generative Pre-Training. OpenAI, pp.1-10, 2018.

C. Quan, L. Hua, X. Sun, and W. Bai, Multichannel convolutional neural network for biological relation extraction, BioMed Research International, 2016.

V. Sanh, L. Debut, J. Chaumond, and T. Wolf, DistilBERT, a distilled version of BERT : smaller, faster, cheaper and lighter, pp.2-6, 2019.

P. Shaw, J. Uszkoreit, and A. Vaswani, Self-attention with relative position representations, NAACL HLT 2018 -2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies -Proceedings of the Conference, vol.2, pp.464-468, 2018.

N. Srivastava, G. E. Hinton, A. Krizhevsky, S. Ilya, and R. Salakhutdinov, Dropout : A Simple Way to Prevent Neural Networks from Overfitting, Journal of Machine Learning Research, vol.299, issue.3-4, pp.345-350, 2014.

B. Sun and K. Saenko, Return of Frustratingly Easy Domain Adaptation, 2015.

I. Sutskever, O. Vinyals, and Q. V. Le, Sequence to sequence learning with neural networks, Advances in Neural Information Processing Systems, vol.4, pp.3104-3112, 2014.

C. Tanriverdi, Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks, Journal of Science and Engineering, vol.9, pp.69-76, 2006.

A. Vaswani, N. Shazeer, N. Parmar, U. Jakob, L. Jones et al., Attention Is All You Need, Advances in Neural Information Processing Systems, 2017.

H. Wang, M. Tan, M. Yu, S. Chang, D. Wang et al., Extracting multiple-relations in one-pass with pre-trained transformers, ACL 2019 -57th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference, pp.1371-1377, 2020.

S. Wu and Y. He, Enriching pre-trained language model with entity information for relation classification, International Conference on Information and Knowledge Management, Proceedings, pp.2361-2364, 2019.

Y. Wu, M. Schuster, Z. Chen, Q. V. Le, M. Norouzi et al., Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's Neural Machine Translation System : Bridging the Gap between Human and Machine Translation

. Corr, , pp.1-23, 2016.

Z. Yang, D. Yang, and C. Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical Attention Networks for Document Classification. HLT-NAACL, pp.1480-1489, 2016.