Resumen

Durante los últimos años, el análisis de big data se ha convertido en un medio popular para aprovechar múltiples fuentes (inicialmente sin valor) y encontrar conocimiento relevante sobre dominios reales. Sin embargo, una gran cantidad de fuentes de big data proporcionan datos textuales no estructurados. Un análisis adecuado requiere herramientas capaces de combinar de manera adecuada el big data y técnicas de análisis de texto. Teniendo esto en cuenta, combinamos un marco de trabajo de canalización (BDP4J (Big Data Pipelining For Java)) con la implementación de un conjunto de técnicas de preprocesamiento de texto para crear NLPA (Natural Language Preprocessing Architecture), un complemento de código abierto y extensible que implementa pasos de preprocesamiento que pueden combinarse fácilmente para crear una canalización. Además, NLPA incorpora la posibilidad de generar conjuntos de datos utilizando ya sea una representación de datos basada en tokens clásicos o conjuntos de datos basados en synsets más nuevos que se procesarían aún más utilizando información semántica (es decir, utilizando ontologías). Este trabajo presenta

• Materias:Big Data Segmentación de líneas Tráfico de red Reconocimiento de entidad Esquema de programación
• Subjects:Big Data Line segmentation Network traffic Entity recognition Programming scheme
• Palabras claves:Análisis de big data; Datos textuales no estructurados; Técnicas de preprocesamiento de texto; NLPA; Arquitectura de Preprocesamiento de Lenguaje Natural; Conjuntos de datos basados en synset
• Keywords:Big data analysis; Textual unstructured data; Text preprocessing techniques; NLPA; Natural Language Preprocessing Architecture; Synset-based datasets