常用 AI 开发工具与资源推荐
工欲善其事，必先利其器。整理日常 AI 开发中使用频率最高的工具和资源，涵盖 LLM 开发、模型管理、评测优化等环节。
LLM 开发框架
LangChain
最流行的 LLM 应用开发框架，提供 Chains、Agents、Memory 等抽象。生态丰富但版本迭代快，API 变动频繁。
LlamaIndex
专注于数据索引和检索，RAG 场景的首选框架。文档解析和索引构建能力突出。
Dify
开源 LLM 应用开发平台，提供可视化编排、知识库管理、Agent 配置。适合快速原型和低代码场景。
FastGPT
国产开源知识库问答系统，中文场景优化好，部署简单。适合搭建企业知识库应用。
向量数据库
Milvus
云原生向量数据库，性能强、功能全。适合大规模生产级部署。有托管云服务 Zilliz Cloud。
Chroma
轻量级向量数据库，Python 原生，适合开发和原型阶段。几行代码即可启动。
Qdrant
Rust 编写的高性能向量数据库，支持丰富的过滤查询。API 设计优雅。
pgvector
PostgreSQL 的向量扩展。如果项目已用 PostgreSQL，无需引入新组件。
Prompt 管理与调试
- LangSmith：LangChain 官方的 LLM 应用调试和监控平台，支持链路追踪、数据集管理、自动评测。
- Promptfoo：命令行提示词测试工具，支持批量对照实验，适合系统性优化提示词。
- Helicone：LLM 调用的可观测性平台，记录日志、监控成本、分析延迟。
模型部署与推理
- vLLM：高性能 LLM 推理引擎，PagedAttention 技术大幅提升吞吐量。部署开源模型的标配。
- Ollama：本地运行开源 LLM 的最简单方式，一行命令启动。适合开发测试。
- HuggingFace TGI：HuggingFace 官方的文本生成推理服务，与 HF 生态无缝集成。
- Xinference：国产开源模型推理平台，支持多种模型类型，部署和管理体验好。
评测与质量保障
- RAGAS：专门用于 RAG 系统评测的框架，覆盖忠实度、相关性、准确性等维度。
- DeepEval：LLM 应用评测框架，支持单元测试风格断言，可与 CI/CD 集成。
- MTEB 榜单：Embedding 模型的权威评测榜单，选型时的重要参考。
学习资源
- Papers With Code：论文与代码对照，跟踪最新研究进展。
- HuggingFace Daily Papers：每日精选 AI 论文，了解前沿动态。
- OpenAI Cookbook：OpenAI 官方示例代码库，涵盖提示词、微调、嵌入等实战案例。
保持工具链的简洁和高效很重要——工具是为解决问题服务的，不必追逐每一个新框架。
← 返回文章列表