Resumen

La comprensión lectora automática (MRC, por sus siglas en inglés) es una tarea desafiante de procesamiento del lenguaje natural (NLP, por sus siglas en inglés). Tiene un amplio potencial de aplicación en campos como robots de respuesta a preguntas, interacciones humano-computadora en sistemas de realidad virtual móvil, etc. Recientemente, la aparición de modelos preentrenados (PTMs, por sus siglas en inglés) ha llevado este campo de investigación a una nueva era, en la que el objetivo de entrenamiento juega un papel clave. El modelo de lenguaje enmascarado (MLM, por sus siglas en inglés) es un objetivo de entrenamiento auto-supervisado ampliamente utilizado en varios PTMs. Con el desarrollo de los objetivos de entrenamiento, se han propuesto muchas variantes de MLM, como el enmascaramiento de palabras completas, enmascaramiento de entidades, enmascaramiento de frases y enmascaramiento de fragmentos. En diferentes MLMs, la longitud de los tokens enmascarados es diferente. De manera similar,

• Materias:Comunicación inalámbrica Dispositivos móviles Seguridad de la información Algoritmo de inteligencia Sensor inteligente
• Subjects:Wireless communication Mobile devices Information security Algorithm intelligence Intelligent sensor
• Palabras claves:Procesamiento del lenguaje natural; Comprensión de lectura de máquinas; Modelos preentrenados; Modelo de lenguaje enmascarado; Longitud de respuesta; Correlación.
• Keywords:Natural language processing; Machine reading comprehension; Pretrained models; Masked language model; Answer length; Correlation.