20 módulos pytest que cubren todo el ciclo de calidad de un sistema LLM — desde el primer LLMTestCase hasta un caso end-to-end completo con incidente, runbook y postmortem. Sin API key. Sin conexión.
Faithfulness, context precision y answer relevancy con RAGAS. LLM-as-judge con G-Eval y calibración de position bias. NDCG, MRR y MAP para retrieval avanzado (HyDE, hybrid, reranking, self-RAG).
Suite OWASP LLM Top 10 (2025), 42 attack prompts en 7 categorías — DAN, encoding, many-shot, indirect injection. Guardrails de entrada/salida, canary tokens y detección de PII multilingüe.
Trace schema de 20 campos · OpenTelemetry · Langfuse y Phoenix. Detección de drift semántico con KS test, PSI y bootstrap IC95. Alertas dobles (absoluto y estadístico).
Todos los tests rápidos usan mocks deterministas — word overlap, embeddings con hashlib, AST-safe eval. La suite completa de 763 tests corre en 1.6 segundos sin conexión.
Cada lab enseña exactamente un concepto. Empieza por el que te interesa — RAG, agentes, cost-aware, robustness, HITL — o recorre el caso end-to-end del módulo 20 para verlo todo conectado.
Si sabes pytest, ya sabes ejecutar esto. Sin frameworks propietarios, sin CLIs especiales, sin lock-in. Solo pytest y las librerías open-source que ya conoces.
Clona, instala y ejecuta la suite completa en menos de un minuto:
git clone https://github.com/gonzaloMorenoc/ai-testing-lab.git
cd ai-testing-lab
pip install deepeval pytest pytest-cov numpy
pytest modules/ -m "not slow and not redteam" -qResultado esperado:
763 passed, 1 skipped in 1.6sSin API key. Sin cuenta de pago. Sin conexión a internet.
Los 20 módulos se agrupan en cinco familias. No hay orden obligatorio: entra por la que necesites hoy.
Tres formas de empezar según tu rol:
Si vienes de QA tradicional
Empieza por 01-primer-eval y sigue la ruta de aprendizaje. En 6 horas tendrás el vocabulario completo del QA de IA.
Si construyes RAG en producción
Salta directamente a 02-ragas-basics → 06-hallucination-lab → 16-retrieval-advanced. Después aplica la Tabla maestra de umbrales en tu CI/CD.
Si lideras un equipo
Lee el modelo de madurez L1-L5, audita tu sistema contra el marco normativo y reproduce el caso end-to-end en una hora.