Una transformación (Pentaho Data Integration) para todo…

Por esos días estoy cumpliendo 10 años de experiencia desarrollando soluciones de integración, automatización e inteligencia de negocios empleando Pentaho Data Integration.

Es increíble, cuando tengo un problema o un cliente se me acerca indicando una necesidad particular para su negocio, no es Java, C#, o Python, en lo que pienso… Mi mente modela la solución a la velocidad de la luz empleando cajitas y flechas.

Mis primeras transformaciones en PDI leían archivos de excel alojados en carpetas compartidas, ficheros txt arrojados por máquinas de medición de producción, y bases de datos heterogéneas, consolidando toda la información en una base de datos relacional sobre la cual ya era responsabilidad de otro crear dashboards de control con el cual podrían monitorear a tiempo prudencial una centena de variables relacionadas con la producción de hidrocarburos por parte de una industria petroquímica de capital Japonés y Venezolano sin tener que revisar decenas de reportes de lenta generación.

Luego de eso, he construido transformaciones:

– que integran ERPs con sistemas Legacy para empresas con transacciones que rozan los millones mensualmente.

– que consolidan en un data warehouse operaciones de negocios en cinco países distintos.

– que monitorean servicios y envían alertas por correo previo al colapso.

– que hacen en segundos el trabajo manual de días, o en minutos automatizan tareas que empleando un lenguaje de programación duraría días, sino semanas.

Algunos snapshots de estos días

Una transformación que dado un archivo de Excel, realiza un cambio masivo de precio sobre los artículos en un ERP. Para brindar seguridad al proceso, valida que el cambio no exceda X porcentaje de diferencia contra precio anterior, porque sabemos que el Excel es propenso a error de dedos. Para brindar auditoria, deja un registro en la base de datos de cuando ocurrió y quien lo hizo. Nada de esto lo soportaba el ERP y ahora los 5 compradores del negocio hacen en 5 minutos el trabajo de 4 horas.

Una transformación que reduce el trabajo de 1 semana a 2 horas al automatizar la revisión y aplicación de reglas de negocio compuestas para el cálculo de comisiones de venta basado en cobros, diversidad de clientes y diversidad de mercancía vendida.

Evolución continua

Cada año sale al menos una nueva versión de PDI, cada versión es mas flexible, poderosa y rápida que la anterior. La compatibilidad entre versiones es algo que cuidan con mucho detalle.

Si quieres aprender PDI, hay muchos libros accesibles en Amazon, y la wiki también se mantiene actualizada. No obstante, el mejor maestro es la experiencia (contáctame ), práctica y el descubrimiento.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s