Resumen

Los avances recientes en el preentrenamiento de modelos de lenguaje han logrado resultados de vanguardia en diversas tareas de procesamiento del lenguaje natural. Sin embargo, estos enormes modelos de lenguaje preentrenados son difíciles de usar en aplicaciones prácticas, como dispositivos móviles y dispositivos integrados. Además, no existe un modelo de lenguaje preentrenado para la industria química. En este trabajo, proponemos un método para preentrenar un modelo de representación de lenguaje más pequeño del dominio de la industria química. En primer lugar, se utilizan una gran cantidad de textos de la industria química como corpus de preentrenamiento, y se emplea la tecnología de destilación de conocimientos no tradicional para construir un modelo simplificado que aprenda el conocimiento en el modelo BERT. Al aprender la capa incrustada, la capa intermedia y la capa de predicción en diferentes etapas, el modelo simplificado no solo aprende la distribución de probabilidad de la capa de predicción, sino que también aprende la

• Materias:Colonias de abejas artificiales Inteligencia artificial Patrón espacial Innovación de la comunicación Algoritmo de red neuronal
• Subjects:Artificial bee colonies Artificial intelligence Spatial pattern Communication innovation Neural network algorithm
• Palabras claves:Avances; Modelos de lenguaje preentrenados; Aplicaciones prácticas; Industria química; Destilación de conocimiento; Tareas posteriores
• Keywords:Advances; Pretraining language models; Practical applications; Chemical industry; Knowledge distillation; Downstream tasks