Skip to content

README.md

Latest commit

 

History

History
36 lines (29 loc) · 1.74 KB

README.md

File metadata and controls

36 lines (29 loc) · 1.74 KB

FlowNode

High-throughput distributed Celery worker engine for scalable document processing.

⚠️ El Problema

Al construir pipelines de Inteligencia Artificial Financiera (como en VeriStack), tareas como generar Embeddings o procesar PDFs bloquean los hilos (Threads) del servidor. Esto causa un cuello de botella letal en producción (Timeouts).

⚡ La Solución (Arquitectura)

FlowNode es una arquitectura de microservicios distribuida diseñada para la escala:

  1. API Gateway (FastAPI): Recibe el documento y devuelve un HTTP 202 Inmediatamente.
  2. Message Broker (Redis): Encola la tarea de forma segura en memoria.
  3. Worker Nodes (Celery): Clusters trabajando en segundo plano devorando los trabajos pesados de forma concurrente, listos para integrarse con LLMs y RAG.

🚀 Despliegue en 1 Minuto

Levanta el ecosistema asíncrono entero en contenedores aislados:

git clone https://github.com/franamaro-dev/FlowNode.git
cd FlowNode
docker-compose up --build -d

Prueba de Rendimiento

Lanza trabajos pesados a la API y mira cómo el worker Celery se los traga sin bloquear a FastAPI:

curl -X POST http://localhost:8000/api/v1/jobs/enqueue \
  -H "Content-Type: application/json" \
  -d '{"document_id": "INV-2026-900", "action": "vectorize"}'