BIG DATA & ANALYTICS


Hoy tenemos tantos datos como opiniones sobre qué hacer con ellos. Simplificamos la manera en que los usas para tomar decisiones más certeras con una fracción del esfuerzo.

CREDIBANCO

Siendo una de las instituciones financieras más importantes de Colombia, la información sobre las transacciones que se llevan a cabo en sus sistemas es uno de los activos más importantes para este cliente.

En el momento en el empezamos a trabajar con el cliente esta necesidad, el sistema de Big Data con el que contaban no cumplía con el tamaño y funcionalidades necesarias para sacar provecho de su información, la forma de escalar no era modular e implicaban altos costos! por lo tanto, el primer paso en la construcción de una solución robusta consistió en el dimensionamiento y búsqueda de componentes que aseguraran un adecuado desempeño para los siguientes 5 años.

El diseño de la plataforma tuvo también en cuenta parámetros como las expectativas de disponibilidad que debía tener la nueva plataforma, lo que nos llevó a recomendarle, además de la implementación de un ambiente para recuperación antes desastres, la instalación de HDFS con un factor de replicación de 3 y configuración de elementos altamente redundantes sobre hardware de tipo commodity para garantizar la fácil escalabilidad de la plataforma sin depender en el futuro de grandes inversiones.

Otro de los requerimientos de CredibanCo fue permitir el acceso a los datos de las diferentes áreas de la Compañía garantizando adecuados niveles de usabilidad y acceso, para esto se sugirió el manejo de diferentes grupos de recursos a través de los mecanismos de “Fair Scheduling” (agendamiento justo) con los que cuenta el ecosistema de Cloudera y la implementación del módulo CDSW (Cloudera Data Science Workbench) para facilitar el trabajo de su Equipo interno de analítica. Finalmente fue un requisito fundamental la posibilidad de implementar los casos de uso sobre manejo de información en tiempo real, para lo que Cloudera está fuertemente preparada y bajo una buena implementación, se facilita dicho tipo de explotación.

client-img

2NV, más que un proveedor, un aliado estratégico, que desde hace cerca de 2 años ha venido apoyando a CredibanCo en los procesos de Transformación e Innovación, haciendo de las ideas realidades exitosas que apalancan el negocio.

Siempre van mas allá en cada proceso, colocándose la camiseta y siendo parte del equipo, construyendo soluciones que agregan valor y hacen que CredibanCo sea cada día la mejor opción del mercado.

Gracias 2nv.

MARTHA PINZÓN RODRÍGUEZ
GERENTE IT SERVICES & TELCO EN CREDIBANCO

COMPONENTES DE LA SOLUCIÓN

big-data-img
  • Versión Cloudera: CDP 7.2
  • Cantidad de ambientes: 3
big-data-img
  • Cantidad de nodos: 47
  • Gestión del proyecto: Azure DevOps

BOLSA DE VALORES DE COLOMBIA

La solución de Big Data de bvc está pensada, entre otros importantes proyectos, en la participación de bvc dentro del proyecto LED (Latin-American Exchanges Data), y la generación de interfaces para que clientes como Asobancaria, Reuters y otras entidades financieras tengan acceso a la información mas relevante para ellos dentro del lago de datos.

La solución para el llenado del lago incluye la ingesta desde diferentes fuentes que van desde las tradicionales bases de datos hasta hojas de cálculo y boletines publicados en los portales de bvc y la extracción, transformación y carga (procesos ETL) de la información requerida. La plataforma implementada, además de los elementos altamente redundantes que hacen parte del ecosistema de Cloudera, incluye dentro de sus componentes centrales Apache Kafka, un sistema que permite la obtención de los datos en tiempo real a través de transacciones distribuidas con baja latencia y alto rendimiento.

En 2019, en el marco de esta solución, bvc y 2NV se aliaron junto a CxO Forum para traer a Colombia a Doug Cutting, uno de los co-creadores de Hadoop, referente de estas tecnologías discruptivas, cuya presentación incluyó la perspectiva ética con la que los datos deben ser tratados y analizados.

COMPONENTES DE LA SOLUCIÓN

big-data-img
  • Versión Cloudera: CDH 5.X
  • Cantidad de ambientes: 2
big-data-img
  • Cantidad de nodos: 18

TELEFÓNICA

La solución de Telefónica permitirá la migración del sistema con el que la empresa cuenta actualmente (Teradata) a la plataforma de Cloudera, incorporando las ventajas que trajo la fusión entre los dos jugadores mas importantes del mercado: Hortonworks y Cloudera.

Una de las ventajas que trae dicha migración es la posibilidad de aprovechar la capacidad que tiene el ecosistema de Cloudera para el procesamiento de datos semi-estructurados y no estructurados, junto con las ventajas económicas que esta solución entrega a los clientes por implementarse en infraestructura distribuida, su escalabilidad en el crecimiento y por disponer de muchas de las soluciones Open referentes a Big Data que existen en el mercado.

COMPONENTES DE LA SOLUCIÓN

big-data-img
  • Versión Cloudera: CDH 6.X
  • Cantidad de ambientes: 2
big-data-img
  • Cantidad de nodos: 45