¿Qué es Big Data?

 

Por Manuel Arredondo, Roberto Bonilla  & Carlos Pastrana

 

Big Data es el término que se emplea hoy en día para describir el conjunto de procesos, tecnologías y modelos de negocio que están basados en datos y en capturar el valor que los propios datos encierran. Esto se puede lograr tanto a través de una mejora en la eficiencia gracias al análisis de los datos (una visión más tradicional), como mediante la aparición de nuevos modelos de negocio que supongan un motor de crecimiento. Se habla mucho del aspecto tecnológico, pero hay que tener presente que es crítico encontrar la forma de dar valor a los datos para crear nuevos modelos de negocio o de ayudar a los existentes.

En términos generales podríamos referirnos como a la tendencia en el avance de la tecnología que ha abierto las puertas hacia un nuevo enfoque de entendimiento y toma de decisiones, la cual es utilizada para describir enormes cantidades de datos (estructurados, no estructurados y semi-estructurados) que tomaría demasiado tiempo y sería muy costoso cargarlos a un base de datos relacional para su análisis. De tal manera que, el concepto de Big Data aplica para toda aquella información que no puede ser procesada o analizada utilizando procesos o herramientas tradicionales. Sin embargo, Big Data no se refiere a alguna cantidad en específico, ya que es usualmente utilizado cuando se habla en términos de petabytes y exabytes de datos. Entonces ¿Cuánto es demasiada información de manera que sea elegible para ser procesada y analizada utilizando Big Data? Analicemos en términos de bytes:

Gigabyte

109

1,000,000,000

Terabyte

1012

1,000,000,000,000

Petabyte

1015

1,000,000,000,000,000

Exabyte

1018

1,000,000,000,000,000,000

 

Características de Big Data:

·      Volumen: Los datos almacenados en los depósitos de las empresas ha pasado de ocupar megabytes y gigabytes a “petabytes”.

§  Google procesa 20 petabytes al día.

§  En 2020 se espera que se generen 420.000 millones de pagos electrónicos.

§  La Bolsa de Nueva York genera un terabyte de datos al día, frente a Twitter, que genera 8 terabytes al día (o 80MB por segundo).

·      Variedad: Los datos han pasado de ser datos almacenados y estructurados, guardados en bancos de datos empresariales, a ser desestructurados, semiestructurados, audio, video, XML, etc.

§  Datos en streaming

§  Cotizaciones bursátiles

§  Medios sociales

§  Máquina a máquina

§  Datos de sensores

·      Velocidad: El movimiento, proceso y captura de datos dentro y fuera de la empresa ha aumentado significativamente.

§  Los modelos basados en inteligencia de negocios generalmente suelen tardar días en procesar, frente a las necesidades analíticas en tiempo real de hoy en día debido al flujo de datos a alta velocidad.

§  eBay, por ejemplo, se enfrenta al fraude a través de PayPal analizando cinco millones de transacciones en tiempo real al día.

 

¿De dónde proviene la información?

Esta contribución a la acumulación masiva de datos la podemos encontrar en diversas industrias, las compañías mantienen grandes cantidades de datos transaccionales, reuniendo información acerca de sus clientes, proveedores, operaciones, etc., de la misma manera sucede con el sector público. En muchos países se administran enormes bases de datos que contienen datos de censo de población, registros médicos, impuestos, etc., y si a todo esto le añadimos transacciones financieras realizadas en línea o por dispositivos móviles, de redes sociales (Twitter con cerca de 12 Terabytes de tweets creados diariamente y Facebook almacena alrededor de 100 Petabytes de fotos y videos), ubicación geográfica mediante coordenadas GPS y todas aquellas actividades que la mayoría de nosotros realizamos varias veces al día con nuestros smartphones, estamos hablando de que se generan alrededor de 2.5 quintillones de bytes diariamente en el mundo.

1 quintillón = 1030 = 1,000,000,000,000,000,000,000,000,000,000

De acuerdo con un estudio realizado por Cisco, entre el 2011 y el 2016 la cantidad de tráfico de datos móviles crecerá a una tasa anual de 78%, así como el número de dispositivos móviles conectados a Internet excederá el número de habitantes en el planeta. Las naciones unidas proyectan que la población mundial alcanzará los 7.5 billones para el 2016 de tal modo que habrá cerca de 18.9 billones de dispositivos conectados a la red a escala mundial, esto conllevaría a que el tráfico global de datos móviles alcance 130 Exabytes anuales.

Pero no solamente somos los seres humanos quienes contribuimos a este crecimiento enorme de información, existe también la comunicación denominada máquina a máquina (M2M machine-to-machine) cuyo valor en la creación de grandes cantidades de datos también es muy importante. Sensores digitales instalados en contenedores para determinar la ruta generada durante una entrega de algún paquete y que esta información sea enviada a las compañías de transportación, sensores en medidores eléctricos para determinar el consumo de energía a intervalos regulares para que sea enviada esta información a las compañías del sector energético. Se estima que hay más de 30 millones de sensores interconectados en distintos sectores como automotriz, transportación, industrial, servicios, comercial, etc. y se espera que este número crezca en un 30% anualmente.

 

Ejemplos del mundo real,

Algunos ejemplos de big data en el mundo real

 

Crecimiento de los datos: ¿Qué ocurre en un minuto en internet?

¿Qué ocurren en un minuto en internet?

 

La oportunidad de mercado

Según la reciente presentación de Gartner “Top Technology Predictions for 2013 and Beyond”:

·En todo el mundo las compañías contratarán a muchos expertos en información empresarial para dar apoyo a la creciente cantidad, variedad y velocidad de los datos.

· La demanda de gastos en servicios de Big Data se calcula que alcanzará los 132.300 millones de dólares en 2015.

· En 2015 la demanda de Big Data supondrá 4,4 millones de puestos de trabajo en todo el mundo, pero sólo un tercio de ellos estarán cubiertos.

· La demanda generará 550.000 empleos en servicios externos durante los próximos tres años.

· Otros 40.000 empleos los generarán vendedores de software durante los próximos tres años.

 

Big Data y el campo de investigación

Los científicos e investigadores han analizado datos desde ya hace mucho tiempo, lo que ahora representa el gran reto es la escala en la que estos son generados.

Esta explosión de grandes datos está transformando la manera en que se conduce una investigación adquiriendo habilidades en el uso de Big Data para resolver problemas complejos relacionados con el descubrimiento científico, investigación ambiental y biomédica, educación, salud, seguridad nacional, entre otros.

· El PSG College of Technology, India, analiza múltiples secuencias de proteínas para determinar los enlaces evolutivos y predecir estructuras moleculares. La naturaleza del algoritmo y el paralelismo computacional de Hadoop mejora la velocidad y exactitud de estas secuencias.

· La Universidad Distrital Francisco José de Caldas utiliza Hadoop para apoyar su proyecto de investigación relacionado con el sistema de inteligencia territorial de la ciudad de Bogotá.

· La esclerosis múltiple es una enfermedad del sistema nervioso que afecta al cerebro y la médula espinal. La comunidad de investigación biomédica y la Universidad del Estado de Nueva York (SUNY) están aplicando análisis con big data para contribuir en la progresión de la investigación, diagnóstico, tratamiento, y quizás hasta la posible cura de la esclerosis múltiple.

Con la capacidad de generar toda esta información valiosa de diferentes sistemas, las empresas y los gobiernos están lidiando con el problema de analizar los datos para dos propósitos importantes: ser capaces de detectar y responder a los acontecimientos actuales de una manera oportuna, y para poder utilizar las predicciones del aprendizaje histórico. Esta situación requiere del análisis tanto de datos en movimiento (datos actuales) como de datos en reposo (datos históricos), que son representados a diferentes volúmenes, variedades y velocidades.

La naturaleza de la información hoy es diferente a la información en el pasado. Debido a la abundancia de sensores, micrófonos, cámaras, escáneres médicos, imágenes, etc. en nuestras vidas, los datos generados a partir de estos elementos serán dentro de poco el segmento más grande de toda la información disponible.

El uso de Big Data ha ayudado a los investigadores a descubrir cosas que les podrían haber tomado años en descubrir por si mismos sin el uso de estas herramientas, debido a la velocidad del análisis, es posible que el analista de datos pueda cambiar sus ideas basándose en el resultado obtenido y re-trabajar el procedimiento una y otra vez hasta encontrar el verdadero valor al que se está tratando de llegar.

 

Referencias Bibliograficas

BBVA New Technologies

http://www.ibm.com/developerworks/ssa/local/im/que-es-big-data/index.html?cmp=BS&ct=SocialMedia&cr=twitter

SASIBM y McKinsey Global Institute

Intel: What Happens in an Internet Minute?

Gartner | Top Technology Predictions for 2013 and Beyond, Febrero 2013

Category: 

Comments

"Capacidad de responder" , para mí esa es la parte escencial del artículo. No basta con tener las capacidades para almacenar grandes volúmenes de información en tiempo real, big data también se trata de saber manipular esta información para poder mitigar problemas y estar al día con estrategias que muestren competitividad dentro del mercado.Con herramientas de Big Data, colucionaremos muchas de las problemáticas actuales, pero también nos enfrentaremos a nuevos retos que nos ayudarán a mejorar cada vez más nuestro modo de operar. Bárbara Mtz Ar.

Son muy interesantes los números mostrados de la presentación de Gartner. Un tema ligado que me parece de trascendencia, es el perfil de los nuevos profesionales de la "Ciencia de Datos" necesarios para explotar Big Data. Serán un híbrido entre programadores y matemáticos. En tanto emergen este tipo de nuevos profesionales de las universidades, será necesario integrar equipos multidisciplinarios para trabajar en este campo, los cuales muy probablemente estarán integrados por expertos en programación, bases de datos, matemática y estadística y gente con instintos en negocios.

Son muy interesantes los números mostrados de la presentación de Gartner. Un tema ligado que me parece de trascendencia, es el perfil de los nuevos profesionales de la "Ciencia de Datos" necesarios para explotar Big Data. Me parece que seran un híbrido entre programadores y matemáticos. En tanto emergen este tipo de nuevos profesionales de las universidades, será necesario integrar equipos multidisciplinarios para trabajar en este campo, los cuales muy probablemente estarán integrados por expertos en programación, en bases de datos, matemática y estadística y gente con instintos en negocios.

Coincido con tu comentario, Big Data tiene un campo enorme para su aplicación y se necesita personal altamente especializado para aprovechas todas las ventajas.Por ejemplo, uno de los casos más sonados, fue la campaña de big data que se utilizó para lograr la victoria de Obama.Entre el personal que contrataron para la campaña, incluyeron a un Chief Scientist, el cual, fue el encargado de unir diferentes bases de datos, recopilar información de redes sociales, marketing, etc..  para después realizar el análisis correspondiente, que dió como resultado, ventaja competitva ante sus contendientes al contar con información valiosa que le permitió conocer el  estado real de la intención del voto y así tomar las mejores decisiones.David Martínez

Sin duda Big Data será una herramienta que crecerá en los ambitos cientificos, de investigación y de inteligencia nacional, este último ha generado gran revuelo entre los paises por tocar temas delicados como la privacidad de los usuarios. En la edición de la revista "Software Guru" Agosto - Octubre 2013 se presenta a Big Data como nuestro próximo "Big Brother" por la inversión sin precedentes que ha realizado la administración de Obama a través de DARPA (The Defense Advanced Research Project Agency).Así que si creiamos estar vigiados y/o espiados pues mejor apaguemos la computadora y desconectemonos del mundo digital, puesto que seguramente Estados Unidos le sacará mucho provecho a este tipo de herramientas.Abraham Orduña

BIG DATA EL NUEVO BIG BROTHER
 
Sin duda Big Data será una herramienta que crecerá en los ambitos cientificos, de investigación y de inteligencia nacional, este último ha generado gran revuelo entre los paises por tocar temas delicados como la privacidad de los usuarios
 
En la edición de la revista "Software Guru" Agosto - Octubre 2013 se presenta a Big Data como nuestro próximo "Big Brother" por la inversión sin precedentes que ha realizado la administración de Obama a través de DARPA (The Defense Advanced Research Project Agency).
 
Así que si creiamos estar vigiados y/o espiados pues mejor apaguemos la computadora y desconectemonos del mundo digital, puesto que seguramente algunos cuantos países le sacarán mucho provecho a este tipo de herramientas.
 

 Me parece muy importante el tema de la generación de información, cuando pienso en Big Data lo primero que viene a mi mente son redes sociales, por ejemplo: personas publicando videos, comentarios o imagenes en facebook o compartiendo algún pensamiento o idea en Twitter, pero cada día va aumentando la informacion denominada máquina a máquina, esto genera grandes cantidades de datos, el concepto de "Internet de las cosas" cada día toma mayor importancia, y todo esto generará grandes volumenes de información los cuales son prácticamente imposibles de analizar con las herramientas de hoy, todo esto representa un gran reto y son necesarias nuevas herramientas para explotar esta información no estructurada que es arrojada por miles de sensores o máquinas comunicandose, además de toda la información que nosotros publicamos o compartimos en la red. Alberto Montes

Me pareció interesante la ilustración que muestran sobre la actividad en Internet, así como los ejemplos de utilización actual de Big Data. Si bien es un campo que aún en México no se tiene registro de casos de éxito, es momento para crear uno de ellos en nuestros lugares de trabajo o propios negocios (de ser el caso), a veces lo importante es creer y apoyar esta tendencia, para tener las bases y poder implementar Big Data, claro, teniendo una preparación previa sobre el tema.

Me pareció interesante la ilustración que muestran sobre la actividad en Internet, así como los ejemplos de utilización actual de Big Data. Si bien es un campo que aún en México no se tiene registro de casos de éxito, es momento para crear uno de ellos en nuestros lugares de trabajo o propios negocios (de ser el caso), a veces lo importante es creer y apoyar esta tendencia, para tener las bases y poder implementar Big Data, claro, teniendo una preparación previa sobre el tema.

Considero que el Big Data es algo muy eficiente, pero antes que ver sus usos y aplicaciones hay que entender al mercado al que va orientado, no siempre aplica el utilizar esta herramienta y además para satisfacer una demanda hay que atacar el nicho de mercado de manera estratégica logrando posicionar el producto y/o servicio a través del uso de Big Data, el mercado es muy tendencioso y hay que tener alcances también hay que considerar lo costos no nada más se trata de implementar tecnologías nuevas para innovar sino al contrario si no es necesaria pues hay que ver la manera de utilizar otra o ninguna, que puede llegar a ser ese el caso. En caso de que sí llegue a aplicar su uso hay que utilizarla como una herramienta que genere beneficios y podamos atacar a la competencia de manera directa.

Add new comment

Filtered HTML

  • Web page addresses and e-mail addresses turn into links automatically.
  • Allowed HTML tags: <a> <em> <strong> <cite> <blockquote> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • Lines and paragraphs break automatically.

Plain text

  • No HTML tags allowed.
  • Web page addresses and e-mail addresses turn into links automatically.
  • Lines and paragraphs break automatically.
CAPTCHA
This question is for testing whether you are a human visitor and to prevent automated spam submissions.



Contact Info

Get in touch

Email us at

Follow us at