🏠 首页 📊 AI 工具评测 📚 AI 应用指南 🧰 全部工具

XERJ 评测：一条命令建好 AI 可搜索的数据索引，token 用量直降 40 倍

XERJ 评测：一条命令建好 AI 可搜索的数据索引，token 用量直降 40 倍

给 AI 智能体喂代码、文档、日志，最直接的姿势就是让它 grep 整文件读进上下文——但一次 grep 可能把 100 万 token 灌进上下文窗口，而真正有用的只有几行。XERJ 就是为了解决这个问题而生的：它在本机跑一个轻量索引引擎，对文件夹里的代码、文档、PDF、日志自动建立 AST 感知 + BM25 + kNN 混合索引，智能体查的是「精确段落」而不是「整个文件」。官方实测：同样的 16⁄16 任务解决率下，XERJ 方案的输出 token 比 grep 方案少 2.7 倍，比完全靠模型记忆少 26 倍；用户日常报告约 5 倍 节省。项目 2026 年 6 月底开源，两个月内星标突破 8,000，212 个 release，迭代极快。

工具简介

XERJ 是一款本地 AI 数据索引与搜索引擎，核心理念是「让智能体用检索代替通读」：

  • GitHub: https://github.com/xerj-org/xerj
  • 官网: https://xerj.org
  • 语言: Rust
  • 开源协议: Apache 2.0
  • 支持平台: macOS、Linux、Windows（单一静态二进制，无需 JVM）
  • 连接方式: MCP（Model Context Protocol）、CLI、Elasticsearch REST API
  • 默认嵌入器: 词法嵌入（离线，零配置）；可选神经嵌入器（~90 MB，需 --in 参数下载）

核心功能

  1. Autoindex 零配置索引：xerj autoindex ~/my-project 一条命令即可对任意文件夹建立索引，代码用 tree-sitter 做 AST 感知解析（索引的是函数/符号，不是行），文档、日志、PDF 也统一入索引。增量重索引：内容未变的文件直接跳过解析，典型 CI/编辑后重跑场景 >95% 文件无变化，只处理差异部分。
  2. 混合检索（BM25 + kNN + 全文）：单次查询同时跑词法（BM25）、向量（kNN）和全文匹配，结果按段落粒度排序，返回 文件:行号 精确定位，附带代码签名（xerj def 可跳转到函数定义 + 签名），比 grep 整文件精准得多，token 消耗少 40 倍。
  3. Elasticsearch API 兼容：实现 ES REST 接口（索引、文档、bulk、search、聚合、kNN、scroll、reindex、_cat），Kibana 和官方 ES 客户端可直接连接。ES-YAML 合规套件 1369 个用例通过 1366 个，差距公开列在仓库里。官方基准测试比 ES 8.13.4 写入吞吐快 1.72 倍，磁盘占用小 1.61 倍，4 项劣势（高写入时读 P99）也已写明。
  4. MCP 原生 + 智能体记忆：xerj init 一条命令把 XERJ 接入 Claude Code / Cursor / Codex（MCP + Skill），智能体可直接调用 xerj search、xerj def 等工具。内置 /_memory 命名空间，智能体会话中的关键信息可持久化，下次会话自动召回，支持知识图谱（/_graph）关联你的文档。
  5. 参考编码（Reference Coding）：智能体接到任务后，自动 clone 并索引与任务最接近的开源仓库，搜索「别人是怎么解决的」再写代码。官方 8 任务 × 4 语言 × 16 次运行的对照实验：完全靠模型记忆的方案输出 260,916 tokens / $11.18 / 11-16 解决；grep 方案 26,477 tokens / $3.27 / 16-16；XERJ 方案 9,982 tokens / $1.58 / 16-16。
  6. xerj gain 量化节省：xerj gain 命令直接显示「这次索引为你省了多少 token」，是计数而非估算，让节省可观测。

适用人群

  • 使用 Claude Code / Codex / Cursor 等 AI 编码智能体，经常因 grep 整文件导致上下文爆炸、成本高企的开发者
  • 需要为智能体提供项目代码、内部文档、日志、PDF 等私有数据检索能力的团队
  • 已在使用 Elasticsearch 但想降低基础设施成本（XERJ 可替代 ES，磁盘小 1.61 倍、写入快 1.72 倍）
  • 做 RAG 应用但不想维护向量数据库的独立开发者或中小团队
  • 不适合：只需要搜索公开热门库（模型已记住的代码，XERJ 收益有限）；或者完全不需要给智能体提供数据检索的场景

与同类工具对比

工具定位优势局限
XERJ本地 AI 数据索引 + ES 兼容一条命令 autoindex、AST 感知、MCP 原生、ES 兼容、增量索引、token 可量化节省学习曲线略陡（需理解 BM25/kNN 混合检索）
grep / rg传统文本搜索零配置、极快整文件进上下文，token 浪费严重；无语义检索
Elasticsearch分布式搜索引擎功能最全、生态成熟重（JVM）、运维成本高、磁盘大
Chroma / Qdrant向量数据库向量检索强只有向量，无 BM25 混合；不能替代 ES 功能
llama_index / LangChainRAG 框架集成方便需自建向量库，不如 XERJ 一条命令开箱即用

一句话：要给 AI 智能体一个「精确段落级」的数据检索能力，选 XERJ；要替代现有 ES 集群选 XERJ；只要传统 grep 选 rg。

如何使用（具体步骤）

1. 安装（任选其一）：

# 一键脚本（macOS/Linux）
curl -fsSL https://xerj.org/get | sh

# 或从源码构建（需要 Rust 工具链）
git clone https://github.com/xerj-org/xerj
cd xerj/engine
cargo build --release -p xerj-server

Windows 版在 GitHub Releases 页面下载。

2. 启动本地服务：

# --insecure 关闭 TLS 和 API 密钥认证，仅用于单用户开发机
# 默认绑定 127.0.0.1，非本机接口明文绑定会拒绝启动
xerj --insecure --data-dir ./data &

⚠️ 安全说明：--insecure 是信任边界而非形式——它关闭 TLS 和 API key 认证，所有能访问该端口的调用者都是超级用户，可读取和删除所有索引（包括 /_memory 命名空间）。生产环境请使用 API key 认证模式（见 docs/SECURITY_MODEL.md）。

3. 接入 AI 智能体（一条命令）：

xerj init
# 自动配置 MCP + Skill 到 Claude Code / Cursor / Codex
# 下次启动智能体新会话时自动生效

4. 索引你的项目：

xerj autoindex ~/my-project
# 代码：tree-sitter AST 感知，索引符号 + 全文
# 文档 / 日志 / PDF：统一入索引
# 增量：内容未变的文件跳过解析，只处理差异

5. 搜索与跳转：

# 混合检索（BM25 + kNN + 全文），返回段落 + file:line
xerj search "how do we rotate the WAL segment"

# 跳转到函数定义 + 签名
xerj def "euler_to_rotationmatrix"

# 量化本次索引为你省了多少 token（计数，非估算）
xerj gain

6. 让智能体自动调用（推荐）：

安装后在 Claude Code / Cursor 里直接说：

“参考这个项目的代码实现，帮我写一个 WAL 轮转逻辑”

智能体会自动调用 XERJ 的 MCP 工具检索相关段落，而不是 grep 整文件。

7. 可选：启用神经嵌入器（精度更高，需下载 ~90 MB）：

xerj init --in  # 或 xerj autoindex --in
# 首次运行自动下载，之后离线

小贴士： - xerj share 可将单个索引文件夹生成只读链接（密码保护），团队成员可访问你的代码索引 - llms.txt（https://xerj.org/llms.txt）是智能体可读的完整文档，让 AI 直接学习 XERJ 用法 - 社区贡献：提交一份简短 field report（Markdown 文件）即可加入，CLA 豁免

总结与推荐指数

XERJ 解决的是 AI 编码智能体时代一个被低估的痛点：数据检索的 token 效率。它不是又一个向量数据库，而是一个 AST 感知 + BM25 + kNN 混合的本地搜索引擎，一条命令 autoindex 让智能体「精确段落检索」替代「grep 整文件」，实测节省 40 倍 token 用量，同时兼容 Elasticsearch API，可替代 ES 降低基础设施成本。对于重度使用 AI 编码智能体、又在意 token 成本的用户，这套工具链几乎是必装。

  • 适合：AI 编码智能体重度用户、需要为智能体提供私有数据检索的团队、ES 运维成本敏感者
  • 不适合：只搜索公开热门库、或不给智能体提供数据检索的用户

推荐指数：⭐⭐⭐⭐（4.0 / 5）

如果你的 Claude Code / Codex 经常因为 grep 整文件导致上下文爆炸、账单飙升，XERJ 值得装——它让智能体「精确检索」而不是「通读」，同样的任务，成本直接砍到 1/4。

📌 想了解更多 AI 工具与智能体推荐？浏览本站 全部 87 款在线 AI 工具 →