Veinte módulos

Cada uno aísla un concepto y se ejecuta solo. No hay orden obligatorio: entra por la familia que necesites y sigue el hilo desde ahí.

771tests

1,6 sla suite entera

97 %cobertura

0API keys

I

Métricas unitarias

135 tests

• 01 — primer-evalEl primer LLMTestCase · AnswerRelevancy · Faithfulness49
• 02 — ragas-basicsPipeline RAGAS · context precision · recall10
• 03 — llm-as-judgeG-Eval · DAG Metric · position y verbosity bias43
• 14 — embedding-evalSimilitud coseno · centroid shift · regresión semántica33

II

Conversación y regresión

92 tests

• 04 — multi-turnConversationalTestCase · KnowledgeRetention · 8 turnos28
• 05 — prompt-regressionPromptRegistry · RegressionChecker · z-test42
• 06 — hallucination-labExtracción de claims · groundedness · negaciones22

III

Seguridad y safety

75 tests

• 07 — redteam-garak42 attack prompts · DAN · many-shot · token manipulation22
• 08 — redteam-deepteamOWASP Top 10 LLM 2025 · prompt injection · agencia31
• 09 — guardrailsDetección de PII · validación de salida · pipeline I/O22

IV

Producción

161 tests

• 10 — agent-testingTool selection · trayectorias · AST-safe eval37
• 11 — playwright-streamingSSE streaming · E2E de chatbot · FastAPI mockopt.
• 12 — observabilityOTel spans · @trace · latencia · error tracking21
• 13 — drift-monitoringKS test · PSI · bootstrap IC95 · alert rules30
• 15 — cost-aware-qaCoste por consulta · regresión de gasto · trade-offs73

V

Disciplinas avanzadas

308 tests

• 16 — retrieval-advancedHyDE · híbrido · reranking · NDCG, MRR y MAP73
• 17 — chatbot-testingIntención · escalado · tono · aislamiento de sesiones60
• 18 — robustness-suitePerturbaciones · typos · robustez frente a ruido52
• 19 — hitl-iaaCohen y Fleiss kappa · ICC · Krippendorff · tamaño muestral55
• 20 — end-to-end-caseChatbot regulado · gates · incidente · postmortem68

¿No sabes por dónde empezar? La guía de arranque clasifica tu sistema en tres pasos y te dice qué módulos te tocan. Si prefieres la versión larga, está en el manual, capítulo por capítulo.

Ejecutar un módulo suelto

pytest modules/01-primer-eval/tests/ -v -m "not slow"

El módulo 11 necesita pytest-playwright y se salta si no está instalado; por eso no cuenta tests en la tabla.