BIG DATA UN CAMBIO DISRUPTIVO

Este primer post tiene como objetivo definir que es el Big Data. Podéis encontrar una historia del término Big Data muy interesante en la página de Forbes.


Ya en 1941 se comienza a hablar de Big Data. Hoy por hoy podemos afirmar que ya no se trata de un concepto que sólo sea manejado por frikis si no que todas las grandes corporaciones lo tienen en la agenda y entienden que valor transformador posee el Big Data. Se trata de una disrupción total que requiere un cambio de paradigma en las organizaciones. Big Data es una tecnología que impacta en los módelos de negocio y en la estrategía empresarial, es Digital innovation, es una herramienta que puede posicionarnos en ventaja contra nuestros competidores. 

Quizás de todas las definiciones que se puedan encontrar en la red la que más me gusta sobre Big Data es la que expone @BernardMarr .  Para mí Big data es la palanca de cambio que cambiara TODO y hará las cosas más fáciles.  La definición más extendida de Big Data es todos aquellos datos que por volumen, velocidad de creación y variedad de formatos y fuentes las infraestructuras actuales de sistemas de información no pueden capturar, almacenar, analizar y procesar. Por ello se habla de las 3 dimensiones o 3 Vs (En 2001 Doug Laney ponía en contexto las 3V´sVolumen, variedad y velocidad en su estudio como consultor de Meta Group “3DData Management: Controlling Data Volume, Velocity, and Variety”).

Volumen


Esta dimensión se refiere a la cantidad de datos. Es obvio que se trata de la característica más identificable del Big Data. El lenguaje que utilizamos respecto al almacenamiento ha cambiado. Hace 10 años hablamos de Gibabytes como “mucho espacio” y ahora un Terabyte nos parece poco. Existen números estudios relativos al aumento exponencial de la datos digitales. El másreconocido es el realizado en 2007 por IDC junto a EMC que se repitió en 2010 y2012. El dato, quizás más utilizado en todas las publicaciones relativas a Big Data, según IDC para el 2020 se prevé un volumen de datos de 40 Zettabytes (1 trillón de Gigabytes). Esto supone un reto para la escalabilidad de las infraestructuras de las corporaciones.

Velocidad

Se refiere a los datos en movimiento. La velocidad a la que se crean, procesan y analizan los datos aumenta exponencialmente. La velocidad afecta a la latencia: el tiempo de espera entre el momento en el que se crean los datos, el momento en el que se captan y el momento

en el que están accesibles. Hoy en día, los datos se generan de forma continua a una velocidad a la que a los sistemas tradicionales les resulta imposible captarlos, almacenarlos

y analizarlos. Al igual la vida del dato se reduce.

Variedad

Tenemos diferentes tipos de fuentes y de formatos de datos. La variedad tiene que ver con gestionar la complejidad de múltiples tipos de datos (estructurados y no estructurados) Las organizaciones necesitan integrar y analizar datos de un complejo abanico de fuentes de

información tanto tradicional como no tradicional procedentes tanto de dentro como de fuera de la empresa. Con el aumento de sensores, dispositivos inteligentes y tecnologías de colaboración social, los datos que se generan presentan innumerables formas entre las que se incluyen texto, datos web, tweets, datos de sensores, audio, vídeo, secuencias de clic, archivos de registro y mucho más.

Padmasree warrier, CTO de CISCO, en una entrevistacon Mckinsey afirma que sólo está interconectado un 1% de las posibilidades de dispositivos existentes. Esto hace pensar que el incremento de información y la velocidad a la que se produce aumentaran drásticamente. Donde se hablara de "internet of everything".

Existe un cuarta dimensión/característica o 4ª V que utilizan importantes empresas relacionadas con las TIC.

•  IBM maneja la cuarta V con el concepto de veracidad (la incertidumbre de los datos). La veracidad hace referencia al nivel de fiabilidad asociado a ciertos tipos de datos. 
• IDC utilizan el término Valor como cuarta característica para identificar Big Data.
• Gartner utiliza el término complejidad para referirse como los centro de procesos de datos serán mucho más complejos y donde el talento de sus profesionales será fundamental.
•  Forrester utiliza el concepto variabilidad poniendo de manifiesto la dificultad en el análisis debido a la gran cantidad de variables.

Cada día más la información es el combustible que permite el crecimiento y la innovación. Para fomentar un uso eficiente y sacar el máximo valor al Big Data necesitamos arquitecturas escalables, que permiten capturar en capas múltiples, nuevas estrategias de almacenamiento disruptivamente escalables, metodologías nuevas para manejar datos, nuevos algoritmos de análisis con mayor rendimiento y en tiempo real y nuevas herramientas para visualizar los datos.