Resumen

Muchos sensores en el IoT (Internet de las cosas) pueden generar datos masivos, lo que supondrá un reto para el limitado almacenamiento de los sensores y el ancho de banda de la red. Por ello, el estudio de la compresión de big data es muy útil en el campo de los sensores. En la práctica, la BWT (transformada Burrows-Wheeler) puede obtener buenos resultados de compresión para algunos tipos de datos, pero los algoritmos tradicionales de BWT no son ni concisos ni lo suficientemente rápidos para el hardware de los sensores, lo que limitará el tamaño del bloque de BWT a una escala muy pequeña e incompetente. Para resolver este problema, este trabajo presenta un algoritmo rápido de BWT truncado llamado "algoritmo CZ-BWT" y lo implementa en el shareware llamado "ComZip". CZ-BWT admite el bloque BWT de hasta 2 GB (o mayor) y utiliza la ordenación por cubos. Es muy rápido con la complejidad temporal O(N) y se ajusta a la compresión de big data. Los resultados del experimento indican que ComZip con el filtro CZ-BWT es obviamente más rápido que bzip2, y puede obtener mejor ratio de compresión que bzip2 y p7zip en algunas condiciones. Además, CZ-BWT es más conciso que el actual BWT con ordenaciones SA (suffix array) y se ajusta a la implementación hardware BWT de los sensores.

• Materias:Biotecnología Minería de datos Redes de sensores Sistema de sensores Tecnología de sensores
• Subjects:Biotechnology Data mining Sensor networks Sensor system Sensor technology
• Palabras claves:compresión de big data, bwt, sensores, tamaño de bloque bwt, mejor relación de compresión, buenos resultados de compresión, implementación hardware bwt, almacenamiento limitado en sensores, complejidad temporal o(n, algoritmos bwt tradicionales
• Keywords:big data compression, bwt, sensors, bwt block size, better compression ratio, good compression results, hardware bwt implementation, limited sensor storage, time complexity o(n, traditional bwt algorithms