Microservicios, Scripts y Procesamiento de Datos
Tareas automatizadas en segundo plano para extraer, sincronizar y normalizar información entre distintos orígenes de datos.
- Python
- PostgreSQL
- MySQL
- Linux Cron
- Docker
- Programada
- Ejecución
- Multi-fuente
- Orígenes
- Idempotente
- Operación
Problema
La información vivía en sistemas distintos, con formatos y esquemas diferentes, y se consolidaba a mano. Los datos llegaban tarde, duplicados o inconsistentes.
Solución de Arquitectura
- Servicios y scripts en Python con etapas separadas de extracción, normalización y carga.
- Sincronización idempotente: cada ejecución puede repetirse sin duplicar registros, usando claves naturales y
UPSERT(INSERT ... ON CONFLICTen PostgreSQL). - Orquestación con Linux Cron o contenedores Docker, con registros de ejecución y manejo de errores con reintentos.
- Normalización centralizada para unificar formatos de fechas, monedas y catálogos entre MySQL y PostgreSQL.
Stack
Python · PostgreSQL · MySQL · Linux Cron / Docker
Resultado Clave
Los datos se mantienen sincronizados y normalizados de forma periódica sin intervención manual, con procesos seguros de reejecutar.