Resumen

Recientemente, los modelos de lenguaje preentrenados, como Bert y XLNet, han avanzado rápidamente el estado del arte en muchas tareas de procesamiento del lenguaje natural. Pueden modelar información semántica implícita entre palabras en el texto. Sin embargo, esto se realiza únicamente a nivel de token sin considerar el conocimiento de fondo. De manera intuitiva, el conocimiento de fondo influye en la eficacia de la comprensión del texto. Inspirados en esto, nos enfocamos en mejorar el preentrenamiento del modelo aprovechando conocimiento externo. A diferencia de investigaciones recientes que optimizan modelos de preentrenamiento mediante estrategias de enmascaramiento de conocimiento, proponemos un método simple pero general para transferir conocimiento explícito con preentrenamiento. Específicamente, primero emparejamos hechos de conocimiento de una base de conocimiento (KB) y luego añadimos una capa de injunción de conocimiento a un transformador directamente sin cambiar su arquitectura. Este estudio busca encontrar el impacto directo del conocimiento explícito

• Materias:Cifrado de búsqueda Seguridad informática Reconstrucción virtual Detección de intrusos Sistema de programación
• Subjects:Search encryption Computer security Virtual reconstruction Intrusion detection Programming system
• Palabras claves:Modelos lingüísticos preformados; Bert; XLNet; Tareas de PNL; Conocimientos previos; Preformación de modelos
• Keywords:Pretrained language models; Bert; XLNet; NLP tasks; Background knowledge; Model pretraining