Resumen

En el aprendizaje por transferencia, se llevan a cabo dos actividades principales, es decir, el preentrenamiento y el ajuste fino, para realizar tareas secundarias. La llegada de la arquitectura de transformadores y los modelos de lenguaje bidireccionales, por ejemplo, la representación de codificador bidireccional de transformador (BERT), permite la funcionalidad del aprendizaje por transferencia. Además, BERT supera las limitaciones de los modelos de lenguaje unidireccionales al eliminar la dependencia de la red neuronal recurrente (RNN). BERT también soporta el mecanismo de atención para leer la entrada desde cualquier lado y comprender mejor el contexto de la oración. Se analiza que el rendimiento de las tareas secundarias en el aprendizaje por transferencia depende de varios factores como el tamaño del conjunto de datos, el tamaño del paso y el número de parámetros seleccionados. En el estado del arte, varios estudios de investigación han producido resultados eficientes al contribuir a la fase de preentrenamiento. Sin embargo, aún no está disponible una investigación y análisis exhaustivos de estos

• Materias:Colonias de abejas artificiales Inteligencia artificial Patrón espacial Innovación de la comunicación Algoritmo de red neuronal
• Subjects:Artificial bee colonies Artificial intelligence Spatial pattern Communication innovation Neural network algorithm
• Palabras claves:Transfer learning; Pretraining; Fine-tuning; Transformer architecture; BERT; Downstream tasks aprendizaje por transferencia; Preentrenamiento; Ajuste fino; Arquitectura transformer; BERT; Tareas secundarias
• Keywords:Transfer learning; Pretraining; Fine-tuning; Transformer architecture; BERT; Downstream tasks