Migración de datos de canales digitales a una infraestructura de Big Data en una entidad bancaria

Abstract

Comprende el proceso de migración de los datos de canales digitales hacia un repositorio Data Lake en una entidad bancaria, pasando por los procesos de cuadre, aplicación de reglas de carga, validaciones de calidad y algoritmos de protección para la data de alta criticidad. La arquitectura de este proyecto se apoyó en tecnologías de Big Data como Apache Hadoop, Apache Spark y Hive para el almacenamiento y procesamiento de los datos. Además, se trabajó con un enfoque de metodologías ágiles, siendo Scrum la metodología elegida por ser un estándar dentro de la organización, con lo cual se pudo recibir una constante retroalimentación de los avances mediante reuniones con el negocio al finalizar cada sprint, buscando que los resultados garanticen la satisfacción del usuario y aporten valor a su día a día. Como resultado de esto, se logró realizar la migración y así brindar información de alta calidad al equipo de Finanzas, para la mayoría de los canales requeridos, esta información se actualizaba de forma automática y era insumo para la reportería que necesitaban, su consumo se realizó desde una interfaz amigable y fácil de usar que contó con rápidos tiempos de respuesta, debido a su alta capacidad de procesamiento, pese al gran volumen de datos de cada uno de los canales.