Mauricio Toro
Ingeniero de Sistemas, Pontificia Universidad Javeriana, Cali, Colombia, Doctor en Informática, Université de Bordeaux, Francia. [email protected]

Henry Laniado
Licenciado en Física y Matemáticas, Universidad de Antioquia, Medellín, Colombia, Doctor en Ingeniería Matemática, Universidad Carlos III de Madrid, España. [email protected]

Big data: historia, definición, herramientas y aplicaciones en la industria

Big data: historia, definición, herramientas y aplicaciones en la industria

Dan Ariely, profesor de psicología y economía de la Universidad de Duke, plantea que el big data [en español, datos masivos] es como el sexo en la adolescencia: todo el mundo habla de ello, nadie sabe realmente cómo hacerlo, todos piensan que los demás lo están haciendo, así que todos dicen que también lo hacen. En lo sigue de este escrito, vamos a relatar la historia de los datos masivos, brindar una definición, explicar algunas técnicas útiles para procesarlos, mencionar algunos contextos actuales de aplicación y algunas oportunidades de negocio.

Historia de los datos masivos

Las sociedades humanas pasaron de ser cazadoras y recolectoras a agricultoras y ganaderas durante el periodo neolítico, aproximadamente en el año 15 000 A.C. Naturalmente, apareció la necesidad de cuantificar. Inicialmente se utilizaron marcas en piedras y árboles. Otra forma de contar era, por ejemplo, almacenar en una bolsa una piedra por cada oveja que tuvieran: cuando mataban una, botaban una piedra de la bolsa; cuando compraban otra, agregaban una piedra a la bolsa. En nuestros días, con la aparición de los computadores electrónicos, se hizo posible almacenar muchos más datos y procesarlos de una manera mucho más rápida. Tomaría mucho tiempo efectuar los cálculos que se realizan en la actualidad con el mecanismo de almacenar piedras en una bolsa o hacer marcas en un árbol; además, se necesitarían más árboles de los que existen en el planeta para lograrlo.

Según Eric Schmidt, director general (CEO) de Google, en 2010, había cinco exabytes de información creados desde el amanecer de la civilización hasta el 2003, pero ahora la misma cantidad [de información] se crea cada día. Para entender esta cifra, recordemos que 1000 gigabytes equivalen a un 1 terabyte, 1000 terabytes corresponden a 1 petabyte y 1000 petabytes son 1 exabyte. De los datos que hoy posee la humanidad, solo una pequeña fracción de ellos son información que las empresas tienen en forma de clientes, productos y ventas. Ya existen soluciones informáticas para este tipo de datos desde el siglo XX. Un porcentaje mayor, para el cual la tecnología actual es insuficiente para procesarlos con la velocidad que se requiere, es la información de las redes sociales compuesta por texto, video y fotos. La cantidad de cuentas en redes sociales en el presente excede la población mundial.