DeepEval是一个开源的LLM（大型语言模型）评估框架，被誉为“LLM的Pytest”，专门帮助开发者对LLM应用进行单元测试和评估。它由Confident AI团队开发和维护，GitHub仓库（https://github.com/confident-ai/deepeval）已获得数千星标，每月下载量达数十万。

主要用途

DeepEval旨在简化LLM应用的评估过程，让开发者像编写传统软件单元测试一样，对LLM输出进行可靠的测试。它支持评估LLM在准确性、相关性、一致性、幻觉（hallucination）、偏见、毒性等方面的表现，适用于RAG（检索增强生成）、聊天机器人、AI代理等多种场景。

核心特点

• 类似于Pytest的单元测试：无缝集成Pytest，可直接融入现有工作流和CI/CD管道。
• 50+研究支持的指标：包括G-Eval（自定义评估）、幻觉检测、答案相关性、忠实度（faithfulness）、RAGAS等。支持LLM-as-a-Judge（用LLM评估LLM）和确定性指标。
• 单轮/多轮评估：支持单转对话、多转对话、多模态（文本+图像）评估。
• 自定义指标：轻松创建复合或自定义指标。
• 合成数据集生成：自动生成评估数据集。
• 红队测试：检测安全漏洞（如毒性、偏见）。
• 实时与生产评估：支持生产环境监控。
• 集成性强：兼容LangChain、LlamaIndex、Haystack等框架，本地运行或云端。

目标用户

主要面向LLM应用开发者、工程师和团队，帮助他们在开发、测试和部署阶段确保LLM应用的可靠性和性能。