编程与开发 · 第 7 页

追踪智能体执行、评估输出并监测模型调用与 GPU 使用，辅助调整提示词和运行流程。

Opik

记录智能体工具调用与模型运行链，并利用数据集和实验评估应用输出。

在统一平台追踪、测试和路由模型调用，并观察编程智能体会话与使用情况。

把智能体失败调用归组为问题信号，向编程智能体提供修复上下文，并回放验证修改。

集中管理提示词，观察模型应用运行并排查调用问题，便于团队协作调整 AI 功能。

通过图形界面微调语言模型，比较训练表现，并与训练后的模型对话检查结果。

使用 YAML 配置和命令行训练、微调与部署语言、多模态或表格数据模型。

组织、集成与评估提示词、模型和提示词应用，并保留调用日志供协作检查。

通过命令行执行模型能力评估、推理压力测试和结果可视化。

组织语言模型评估，支持工具使用、多轮对话与模型评分，并提供预设评估任务。

通过命令行探针检查语言模型在提示词注入、信息泄露等场景中的失败表现。

DeepEval

以测试用例检查模型应用和智能体输出，评估任务完成、回答相关性与幻觉等指标。

在数据流界面中比较多个模型与提示词变体，设置评价指标并可视化输出差异。

安装后配置评估任务，对语言及多模态模型执行统一组织的能力评估。

通过命令行和 YAML 配置组织语言模型评估，选择模型后端、任务与评分指标。

跨模型后端运行语言模型评估，并保存逐条样本结果供检查和比较。

以自托管 REST 接口检查模型提示词和回复中的注入及越狱风险，适用于实验研究。

使用命令行模糊测试检查语言模型接口的越狱与安全失败情况。

针对系统提示词或外部 HTTP 模型端点执行提示词注入测试并检查回复。

通过交互测试检查生成式应用的系统提示词在动态模型攻击下的表现。

扫描智能体工作流，列出调用工具与 MCP 服务，并生成流程图和风险报告。

在企业环境中组织 AI 技术测试，使用测试引擎和界面检查系统表现。

在带浏览器的智能体 IDE 中查看页面、连接代码库，并让智能体读取控制台和调试信息修改应用。

Appwrite

提供认证、数据、文件、函数和托管服务，并通过 MCP 让编程智能体操作应用项目。

在 Next.js 与 Tailwind 代码上进行可视化编辑，并结合 AI 制作网站与交互原型。

在本地桌面环境中连接自选模型构建 AI 应用原型。

根据文字描述实时生成界面，支持继续修改并将 HTML 转为 React、Svelte 等组件。

根据界面截图或网站录屏生成前端代码和可运行原型。

根据单次提示词生成小型应用，并在浏览器中预览生成结果。

为智能体提供业务语义层，把业务问题转为 SQL，并生成可共享的数据看板。

用聊天方式与数据库交互，把自然语言需求转为查询或数据操作。

为关系数据库建立自然语言问答接口，把业务问题转换为 SQL 查询。

在网页界面中标注文本分类、序列标签与文本生成样本，用于构建模型数据集。

让 AI 工程师与领域专家在协作界面中整理和标注模型训练或评估数据。

FiftyOne

可视化并标注视觉数据，检查模型表现，帮助整理计算机视觉训练与评估数据集。

CVAT

通过自托管协作平台标注图像、视频、音频和三维资料，并管理模型数据集。