Resumen

Con la llegada de la RI (Revolución Industrial) 4.0, la difusión de los sensores en el IoT (Internet de las cosas) puede generar datos masivos, lo que supondrá un reto para el limitado almacenamiento de los sensores y el ancho de banda de la red. De ahí que el estudio de la compresión de big data sea valioso en el campo de los sensores. Un problema es cómo comprimir eficientemente los datos de largo flujo con la memoria finita de un sensor. Para mantener el rendimiento, las técnicas tradicionales de compresión tienen que tratar los flujos de datos a una escala pequeña e incompetente, lo que reducirá la relación de compresión. Para resolver este problema, este trabajo propone un algoritmo de codificación por bloques denominado "algoritmo CZ-Array", y lo implementa en el shareware llamado "ComZip". CZ-Array puede utilizar una ventana de datos relativamente pequeña para cubrir una gran escala configurable, lo que beneficia a la relación de compresión. Es rápido con la complejidad temporal O(N) y se ajusta a la compresión de big data. Los resultados del experimento indican que ComZip con CZ-Array puede obtener un mejor ratio de compresión que gzip, lz4, bzip2 y p7zip en la compresión de múltiples flujos de datos, y también tiene una velocidad competente entre estos programas de compresión de datos generales. Además, CZ-Array es conciso y se adapta a la implementación paralela de hardware de los sensores.

• Materias:Biotecnología Minería de datos Redes de sensores Sistema de sensores Tecnología de sensores
• Subjects:Biotechnology Data mining Sensor networks Sensor system Sensor technology
• Palabras claves:compresión de big data, array, sensores, relación de compresión, software de compresión general de datos, compresión de datos de múltiples flujos, mejor relación de compresión, configurable a gran escala, almacenamiento limitado de sensores, ventana de datos pequeña
• Keywords:big data compression, array, sensors, compression ratio, general data compression software, multiple stream data compression, better compression ratio, configurable large scale, limited sensor storage, small data window