> git log --author="abdel" --oneline

Open Source : RAGnarok-AI & contributions

Produits open source et contributions à la communauté. Parce que le meilleur code est celui qu'on partage.

> ls ~/products/opensource

RAGnarok-AI

productionAGPL-3.0v1.11

Framework d'évaluation RAG local-first avec GitHub Action CI/CD. 20 adapters, Medical Mode, ~24K queries/sec.

153Python 3.10+

Voir sur GitHub Documentation GitHub Action Essayer sur Colab

Évaluer un système RAG ne devrait pas nécessiter d'envoyer vos données dans le cloud. RAGnarok-AI est un framework d'évaluation local-first qui mesure la qualité de vos pipelines RAG et agents IA — entièrement sur votre machine. LLM-as-Judge avec Prometheus 2, cost tracking, checkpointing, et intégration Jupyter native.

"L'évaluation RAG ne devrait pas dépendre d'API cloud. J'ai construit RAGnarok-AI pour que chaque développeur puisse mesurer la qualité de son RAG — sur sa machine, sans compromis sur la confidentialité."

Installation

$ pip install ragnarok-ai

pypi.org/project/ragnarok-ai

Fonctionnalités

Métriques de retrieval (Precision@K, Recall, MRR, NDCG), métriques de génération (faithfulness, relevance, hallucination), évaluation d'agents (tool-use, trajectory). Cost tracking multi-providers, système de plugins, visualisation HTML rich dans Jupyter. Compatible Ollama, OpenAI, Anthropic, vLLM.

Architecture

Architecture modulaire : Core (types, protocoles), Evaluators (métriques), Adapters (LLMs, vector stores, frameworks), Reporters (JSON, HTML, CLI). Support LangChain, LangGraph, LlamaIndex, DSPy. Caching, batching async, checkpointing intégrés.

Historique des versions

v0.1Foundation — Métriques retrieval, CLI, reporters

v0.2Generation Metrics — Faithfulness, relevance, hallucination

v0.3Test Generation — Questions synthétiques, multi-hop

v0.4Framework Adapters — LangChain, observability

v0.5Performance — Async, parallélisation, concurrency

v0.6Cloud & Local — OpenAI, Anthropic, vLLM, FAISS

v0.7More Frameworks — LlamaIndex, DSPy

v0.8Benchmarking — Comparaison, régression

v0.9Agent Evaluation — Tool-use, trajectory

v1.0Production Ready — PyPI, documentation

v1.1Jupyter Integration — Visualisation HTML rich

v1.2Cost Tracking — Suivi des coûts multi-providers

v1.3Plugin System — Architecture extensible, Prometheus 2

v1.4GitHub Action — CI/CD natif, Medical Mode, 9 adapters, ~24K q/s

v1.5Enterprise Deployment — Chart Helm Kubernetes, déploiement air-gapped

v1.6Production Monitoring — MonitorClient, stockage SQLite, export Prometheus

v1.7Alerting — Règles à seuils, alertes Webhook et Slack

v1.8Medical Disambiguation — Désambiguïsation des abréviations par SLM

v1.9Production Intelligence — Détection de dérive, A/B testing, diagnostic des causes

v1.10Trustworthy Evaluation — Testsets issus de la production, calibration du juge

v1.11Developer Experience — Évaluation de son pipeline en CLI, streaming live, navigateur de résultatslatest

Comparaison

	RAGnarok-AI	Giskard	RAGAS
100% Offline	✓	~	✗
Reprise d'évaluation	✓	✗	✗
Rapidité	✓	✗	✓
CLI intégré	✓	✗	✗
GitHub Action CI/CD	✓	✗	✗
Medical Mode	✓	✗	✗

Fonctionnalités

adapters

350+

abréviations médicales

100%

local-first

CI/CD

GitHub Action

Performance

(Apple M2 16GB)

Métrique	Valeur
Retrieval metrics	~24,000 q/s
LLM-as-Judge	~25s / eval
Peak RAM (5000q)	0.17 MB

Prochaines étapes

RAGnarok-AI est un projet vivant, en évolution constante. Voici ce qui arrive :

Dashboard monitoringMétriques multi-agentsIntégration MLflow

RAGLLMGitHub ActionCI/CDMedical ModeOllamaLangChainHaystack

Voir plus sur GitHub

github.com/2501Pr0ject