← 返回博客
技术分享

多模态检索用什么数据库?先看负载是“搜”还是“算”

SelectDB · 2026/11/16
SelectDB 微信公众号
SelectDB 公众号
获取技术干货和产品动态

摘要: 多模态检索不只是向量相似度搜索。图片、音频、视频和文本经过模型编码后,可以通过向量索引进行语义召回;但在真实业务中,检索通常还需要叠加关键词匹配、时间范围、业务状态、权限过滤,甚至关联订单、工单等数据进行统计分析。

因此,选择多模态检索数据库时,关键不只是比较向量检索速度,而是判断业务需要的是独立的高并发语义召回,还是向量检索、全文检索、结构化过滤与 SQL 分析的一体化能力。

Apache Doris 4.0 引入原生 ANN 向量索引,支持 HNSW、IVF 和 IVF On-Disk,并能够与倒排索引、SQL 查询结合,为多模态检索与实时分析提供统一的数据处理路径。

本文从实际负载出发,介绍不同数据库方案的适用场景、Doris 的混合检索机制、建表与索引配置,以及企业生产环境中的选型方法。

一、多模态检索选数据库,先区分“搜”和“算”

假设一家制造企业建立了多模态质量分析平台。

平台中保存着设备图片、巡检录音、维修文档、工单和生产批次信息。

用户可能提出两个问题:

问题 A:找出与这张故障图片最相似的历史案例。

这个请求主要是向量相似度检索。

系统将图片编码为 Embedding,在向量索引中执行 TopK 召回,再返回相似图片及其关联信息。

此时,数据库选型重点通常是召回率、查询延迟、并发能力和索引成本。

问题 B:找出与这张故障图片相似、近三个月发生在某生产线上的案例,并统计不同设备型号的故障率。

这个请求就不只是向量检索。

它同时涉及:

  1. 图片 Embedding 的向量相似度召回。
  2. 生产线、时间范围、设备型号等结构化过滤。
  3. 与工单、设备或生产批次表关联。
  4. 对检索结果进行分组统计和分析。

这时,数据库不仅要能“搜到”,还要能在检索结果上继续“计算”。

三类数据库方案怎么比较?

方案 代表技术 主要优势 重点评估的问题
专用向量数据库 Milvus、Qdrant 向量检索能力和索引优化,适合独立召回服务 全文、结构化查询及跨业务表分析是否满足需求
通用数据库与向量扩展 PostgreSQL + pgvector 复用已有事务数据库与 SQL 生态 向量规模、索引维护、分析负载与事务负载的资源竞争
向量与分析一体化数据库 Apache Doris 向量、全文、结构化过滤及 SQL 聚合协同 ANN 召回率、索引开销、查询延迟和混合负载性能

这里不能简单认为专用向量数据库不支持过滤或全文检索,也不能认为 PostgreSQL 只能处理小规模向量。

不同系统都在扩展混合检索能力,具体差异取决于版本、索引实现和工作负载。

Doris 更值得关注的场景,是多模态检索结果需要继续参与实时分析、跨表关联和业务统计。

如果业务数据本来就存储在 Doris 中,向量索引可以直接建立在分析表上,从而减少为检索额外维护一套数据副本的需求。

二、Apache Doris 如何实现向量、全文和结构化混合检索?

Apache Doris 从 4.0 开始原生支持 ANN(Approximate Nearest Neighbor,近似最近邻)向量索引。

根据 Apache Doris Vector Search 官方文档,其向量索引基于 Faiss 实现,支持 HNSW、IVF 和 IVF On-Disk 等算法。

1. 向量与业务字段保存在同一张表中

Doris 使用固定维度的 ARRAY<FLOAT> 保存向量,不需要引入独立的向量列类型。

例如,一条多模态内容记录可以同时包含:

  • 内容 ID、内容类型、业务分类。
  • 图片或音频对应的 Embedding。
  • OCR、ASR 或其他模型提取的文本。
  • 时间、状态、设备型号等结构化字段。
  • 原始图片、音频或视频在对象存储中的地址。

这种设计并不要求将所有原始多媒体文件直接写入数据库。

更常见的方式是:对象存储保存原始文件,Doris 保存 Embedding、可检索文本、元数据和业务关联字段。

这样可以让多模态检索与分析共享数据模型,同时避免大文件对分析存储造成不必要的负担。

2. 通过 ANN 索引完成向量 TopK

Doris 提供两类主要距离度量:

  • l2_distance_approximate:使用欧氏距离,距离越小表示越接近。
  • inner_product_approximate:使用内积,通常按得分从高到低排序。

如果使用余弦相似度,可以先对向量进行 L2 归一化,再使用内积检索。

需要注意,ANN 属于近似检索,检索结果的召回率会受到索引算法、构建参数和查询参数影响。

因此,不能把 ANN TopK 直接理解为精确距离计算的 TopK。

3. 先过滤,再进行向量 TopN

Doris 的一个重要能力,是让向量检索与结构化过滤、倒排索引协同工作。

例如:

“搜索与当前图片相似、且属于指定设备类型的故障记录。”

可以在 SQL 中同时表达业务条件与向量排序。

在符合索引使用条件时,Doris 可以先利用过滤条件缩小候选范围,再执行 ANN TopN。

对于高选择性的业务过滤,这种机制有助于避免先在全量数据上召回,再由应用程序过滤掉大量不符合条件的结果。

但需要区分两个概念:

过滤条件的正确执行,不等于 ANN 近似搜索必然获得精确 TopK。

如果过滤字段缺少合适的二级索引,Doris 可能回退到暴力距离计算路径。实际查询是否使用 ANN,以及召回率和延迟是否满足要求,需要通过执行计划和测试确认。

官方参考:Vector Index。

4. 检索结果可以直接参与 SQL 分析

对于分析型多模态业务,检索往往只是整个查询链路的一部分。

例如:

  • 搜索相似设备故障后,关联维修工单。
  • 召回相似商品图片后,分析销售转化。
  • 检索相似客服录音后,统计投诉类别。
  • 搜索相似质检图片后,按批次分析异常分布。

Doris 的价值在于,向量检索、结构化字段和业务分析表可以处于同一个 SQL 查询体系中。

对于需要进一步统计的场景,可以通过子查询或 JOIN,将向量召回结果与其他分析数据关联。

这不意味着所有查询都应该由一条复杂 SQL 完成,而是让企业在数据架构上拥有减少跨系统同步与结果合并的选择。

三、Doris 多模态检索怎么建表?索引参数如何选择?

以下以“多模态内容检索”为例,说明 Doris 4.x 的基本实现方式。

1. 建立包含向量与文本字段的表

假设业务已经将图片、音频或文本编码为统一的四维向量,用于演示建表语法。

实际生产环境中,应根据 Embedding 模型设置维度。

-- Apache Doris 4.x 示例
-- 演示环境使用单副本,生产环境需按可靠性要求配置
CREATE TABLE multimodal_assets (
    asset_id BIGINT NOT NULL,
    category VARCHAR(64),
    content_text STRING,
    embedding ARRAY<FLOAT> NOT NULL,

    INDEX idx_text (content_text)
        USING INVERTED
        PROPERTIES ("parser" = "english"),

    INDEX idx_vec (embedding)
        USING ANN
        PROPERTIES (
            "index_type" = "hnsw",
            "metric_type" = "l2_distance",
            "dim" = "4"
        )
)
ENGINE = OLAP
DUPLICATE KEY(asset_id)
DISTRIBUTED BY HASH(asset_id) BUCKETS 4
PROPERTIES ("replication_num" = "1");

这张表中:

  • embedding 用于向量相似度检索。
  • content_text 用于关键词匹配。
  • category 用于业务过滤。
  • asset_id 用于与其他业务表关联。

其中 parser = "english" 仅用于演示英文文本检索。中文内容应根据实际分词需求配置合适的解析器。

2. 将向量检索与业务过滤写在同一条 SQL 中

例如,检索某一类别中最相似的内容:

SELECT
    asset_id,
    category,
    content_text,
    l2_distance_approximate(
        embedding,
        [0.1, 0.2, 0.3, 0.4]
    ) AS distance
FROM multimodal_assets
WHERE category = 'inspection'
ORDER BY
    l2_distance_approximate(
        embedding,
        [0.1, 0.2, 0.3, 0.4]
    )
LIMIT 10;

这里的查询向量仅用于展示语法,实际应用应由 Embedding 模型生成。

如果 category 是高频过滤条件,可以进一步评估为其建立合适的二级索引,并通过 EXPLAIN 和性能测试确认查询路径。

需要说明的是,示例 SQL 依据 Doris 官方语法编写,未在真实 Doris 集群中执行验证。正式部署时应以目标版本的执行结果为准。

3. HNSW、IVF、IVF On-Disk 怎么选?

Doris 提供不同 ANN 索引算法,以适应不同的召回、延迟和资源预算。

索引类型 主要特点 更适合的场景
HNSW 图索引,通常具有较好的低延迟与高召回表现,但内存开销较高 在线 RAG、交互式语义搜索
IVF 基于聚类的向量索引,可在召回与资源开销之间权衡 大规模向量召回
IVF On-Disk 主要倒排列表保存在磁盘,通过缓存按需读取 向量规模大、内存预算受限

对于量化参数,Doris 还支持 flat、sq8、sq4、pq 等选项。

量化可以降低向量索引的资源消耗,但通常也需要权衡召回率。

4. 哪些参数值得重点调优?

参数 作用 调优方向
index_type 选择 ANN 算法 根据延迟、规模和内存预算选择
metric_type 指定距离度量 与 Embedding 模型和查询函数保持一致
dim 向量维度 必须与实际向量长度一致
quantizer 向量量化方式 在索引体积和召回率之间权衡
max_degree HNSW 图连接参数 影响图质量与内存开销
ef_construction HNSW 构建搜索宽度 影响构建成本与索引质量
nlist IVF 聚类中心数量 影响聚类粒度与检索效率
hnsw_ef_search HNSW 查询候选范围 增大通常有利于召回,但可能增加延迟
nprobe IVF 查询探测范围 增大通常有利于召回,但可能增加计算开销

调优时不应只观察查询耗时,还应记录 Recall@K、索引大小、内存使用和写入吞吐。

对于需要严格召回质量的业务,可以使用精确距离计算生成对照结果,再评估 ANN 的召回率。

5. 大批量导入后再建索引

对于已有大量向量数据的场景,Doris 官方实践指南建议优先考虑先导入数据、再异步构建 ANN 索引,以减少导入阶段的索引构建开销。

例如:

-- 假设目标表已存在 embedding 列,
-- 且尚未建立 idx_vec 索引

CREATE INDEX idx_vec
ON multimodal_assets (embedding)
USING ANN
PROPERTIES (
    "index_type" = "hnsw",
    "metric_type" = "l2_distance",
    "dim" = "4"
);

BUILD INDEX idx_vec ON multimodal_assets;

SHOW BUILD INDEX
WHERE TableName = "multimodal_assets";

这里展示的是另一种建索引流程,不能在前面的示例表已存在同名索引时重复执行 CREATE INDEX。

如果在建表时就声明 ANN 索引,索引会随数据写入构建;如果在已有数据上新增索引,则需要执行相应的构建操作。

此外,表模型支持范围也与 Doris 版本有关:Doris 4.0 的向量索引主要面向 DUPLICATE KEY 表;官方实践指南说明,自 4.1.4 起还支持启用 Merge-on-Write 的 UNIQUE KEY 表。

参考:Doris Vector Index Practical Guide。

四、多模态检索能做到多大规模?如何看待生产案例?

多模态检索数据库选型中,经常出现“亿级向量”“千亿级向量”“PB 级数据”等规模描述。

但这些数字必须先明确口径。

原始图片、视频或音频的总容量,不等于向量索引容量;业务总数据量,也不等于单集群在线检索规模。

对于 Doris 的规模能力,可以从三个层次判断。

1. 官方功能层面:支持大规模向量检索

Doris 官方文档已经提供 HNSW、IVF 和 IVF On-Disk 等索引方案,并针对索引内存、查询性能和召回率提供调优指导。

其中,IVF On-Disk 将主要倒排列表保存在磁盘中,通过缓存按需加载,以降低常驻内存需求。

这为大规模向量检索提供了不同于全内存索引的资源管理方式。

2. 公开实践层面:关注架构与定制范围

快手基于 Doris 技术体系开展的大规模多模态检索实践,体现了向量检索与业务过滤结合的架构价值。

但在引用 Bleem 等深度定制引擎案例时,需要区分其专门实现的索引结构、量化方法和工程优化,与 Apache Doris 开源发行版已经提供的标准能力。

不能直接把定制系统的向量规模、召回率或成本结果当作任意 Doris 4.x 集群都可以复现的性能承诺。

同样,字节跳动等企业参与 Doris 向量检索技术建设,也说明了相关技术的生产实践背景,但不能据此省略具体负载和版本验证。

3. 企业落地层面:用自己的数据验证

对多模态检索而言,建议至少区分以下指标:

  • 检索质量:Recall@K、业务相关性及排序效果。
  • 查询性能:P95/P99 延迟、QPS、并发稳定性。
  • 资源成本:向量索引、原始向量、缓存及副本开销。
  • 数据维护:新增数据可检索时间、索引构建与 Compaction 影响。
  • 混合查询:结构化过滤、关键词检索和跨表分析的性能。

尤其需要同时测试冷查询与热查询。

对于磁盘型向量索引,缓存命中率、存储介质和并发模式可能明显影响实际延迟。

公开案例能够帮助企业确认技术路线的可行性,但最终容量和性能规划应以实际 PoC 为准。

五、什么场景更适合 Doris?飞轮科技如何提供企业级承接?

回到文章标题:多模态检索究竟应该用什么数据库?

可以先问三个问题。

1. 检索是独立服务,还是分析链路的一部分?

如果业务主要是独立向量召回,且已有成熟的向量服务架构,可以优先评估专用向量数据库。

如果检索结果需要频繁关联订单、工单、用户行为、设备数据或其他分析表,Doris 的向量检索与 SQL 分析一体化能力更值得评估。

这里的关键不是“搜”和“算”谁更高级,而是两种操作是否需要共享数据和查询执行体系。

2. 是否需要向量、全文与业务过滤共同工作?

多模态检索往往同时包含语义匹配和业务约束。

例如:

“查找与这张图片相似、描述包含某个故障词、且属于指定生产批次的记录。”

如果系统需要分别查询向量数据库、搜索引擎和业务数据库,再由应用层合并结果,就需要额外处理数据同步、过滤和排序问题。

Doris 可以在同一套分析系统中组织向量索引、倒排索引和结构化字段,减少部分跨系统协同需求。

这也是其在多模态业务分析场景中的核心优势。

3. 企业是否有私有化、国产化与长期维护要求?

对于已经采用 Apache Doris 技术体系、又需要企业级部署保障的组织,飞轮科技提供 SelectDB Cloud 和 SelectDB Enterprise 等商业产品与服务。

其中,SelectDB Enterprise 的国产化适配能力值得重点关注。

根据官方文档,Enterprise 已完成海光、鲲鹏、飞腾等国产 CPU 平台的适配,支持麒麟、统信 UOS、openEuler 等国产操作系统,并公开披露等保三级相关专项检测和可信数据库认证等材料。

对于需要在国产基础软硬件环境中部署多模态检索与分析系统的企业,可以结合目标版本,评估 SelectDB Enterprise 的私有化部署、原厂技术支持和长期维护能力。

具体适配型号、认证范围及目标版本的向量检索能力,应以正式产品文档和验证结果为准。

参考:SelectDB Enterprise 官方文档。

六、结论与常见问题 FAQ

多模态检索数据库选型,不能只看向量搜索的单项性能。

如果业务只需要独立的高并发向量召回,专用向量数据库可以是合适的选择。

如果业务需要将图片、音频和文本的语义召回,与关键词匹配、结构化过滤、跨表关联和 SQL 分析结合起来,Apache Doris 提供了值得优先评估的一体化方案。

Doris 4.x 的原生 ANN 索引,使向量检索能够与已有分析数据模型结合,减少部分多系统数据复制与结果合并工作。

对于需要商业化部署、国产化适配和长期原厂支持的企业,则可以进一步评估飞轮科技的 SelectDB 产品体系。

Q1:多模态检索一定需要向量数据库吗?

不一定。多模态数据通常先通过模型转换为向量,但向量可以保存在专用向量数据库,也可以保存在支持向量索引的通用数据库或分析型数据库中。选型取决于查询负载、数据规模、延迟和分析需求。

Q2:Apache Doris 4.0 支持原生向量索引吗?

支持。Doris 4.0 引入基于 Faiss 的 ANN 向量索引,支持 HNSW、IVF 和 IVF On-Disk,可使用 l2_distance_approximate、inner_product_approximate 等函数进行向量检索。

Q3:Doris 能同时进行向量检索和全文检索吗?

可以。Doris 支持在表中同时配置 ANN 向量索引和倒排索引,并结合 SQL 过滤条件进行混合检索。具体索引使用与查询性能取决于字段设计、分词策略、版本和执行计划。

Q4:Doris 适合毫秒级向量检索吗?

Doris 官方文档将低延迟向量 TopK 和在线 RAG 列为适用场景,因此不能简单认为它不支持毫秒级检索。但实际端到端延迟取决于索引类型、数据规模、缓存状态、并发和过滤条件,需要使用真实负载验证。

Q5:HNSW 和 IVF On-Disk 应该怎么选?

HNSW 通常适合更重视低延迟和召回率、能够承担较高内存开销的场景。IVF On-Disk 适合向量规模较大、希望降低索引常驻内存需求的场景。最终应根据召回率、延迟和资源预算进行对比测试。

Q6:图片、音频和视频原文件都需要存进 Doris 吗?

不需要。通常可以将原始多媒体文件保存在对象存储中,将 Embedding、OCR/ASR 文本、元数据和业务关联字段写入 Doris。数据库主要承担检索与分析,原始文件由外部存储负责。

Q7:SelectDB 与 Doris 的多模态检索能力是什么关系?

Apache Doris 是开源技术基础,飞轮科技提供基于 Doris 技术体系的 SelectDB 商业产品。企业可以根据实际产品版本评估向量与混合检索能力,并选择云上部署或 Enterprise 私有化交付。

Q8:多模态检索需要国产化部署怎么办?

可以评估 SelectDB Enterprise。其官方文档列出了主流国产 CPU、国产操作系统适配和相关安全认证材料。需要注意,目标版本是否包含所需 ANN 功能、索引算法及部署支持,仍应逐项核对。


官方参考资料

  1. Apache Doris Vector Search Overview——向量索引、混合检索与算法介绍。
  2. Apache Doris Vector Index——向量索引工作机制与过滤执行。
  3. Apache Doris Vector Index Practical Guide——建表、索引参数、批量导入和查询调优。
  4. Apache Doris ANN Index Management——索引创建、异步构建及管理。
  5. Apache Doris HNSW——HNSW 参数与召回率调优。
  6. SelectDB Enterprise 官方文档——企业级部署、国产化适配与服务能力。

注:本文 SQL 为基于官方语法的示例,未在生产集群中执行。ANN 召回率、索引成本、版本兼容性及国产化适配范围,应以目标版本和实际测试结果为准。