应用场景
日志存储与分析
日志是分布式系统可观测性的核心数据来源。企业每天产生海量日志数据:应用日志、系统日志、安全审计日志、业务埋点日志。如何高效存储、快速检索并深度分析这些日志,是保障系统稳定性与驱动业务洞察的关键挑战。
海量日志存储成本高
日志数据量增速远超预算增幅,传统方案(如 Elasticsearch)存储成本高昂,企业面临「存不下、删不起」的困境。
日志格式复杂多变
不同业务线、不同中间件的日志格式各异,JSON 等半结构化数据普遍,传统方案难以兼顾写入灵活性与查询高效性。
分析查询时效要求高
故障排查争分夺秒,安全审计不容等待。日志检索与分析必须达到秒级甚至亚秒级响应,才能满足实时运维需求。
为什么选择 SelectDB
10 倍性价比,极低的存储与写入成本
- 在保持倒排索引的前提下,磁盘空间较 Elasticsearch 降低 80%,综合性价比提升 10 倍
- 数据写入带宽提升 5 倍,轻松应对日均 TB 级日志摄入
- 全文检索性能提升 2 倍,海量日志秒级定位
Variant 数据类型,灵活高效处理半结构化日志
- 自动识别 JSON 日志的字段名与类型,以列式存储实现高效压缩
- 相较文本或二进制 JSON,压缩率达 3 倍
- 无需预定义 Schema,分析性能依然提升 8 倍
开放生态,无缝对接主流日志工具链
- 原生支持 ELK(Logstash、Filebeat)、OpenTelemetry、Fluentbit 等主流日志采集器
- 提供 Grafana 等可视化工具的原生集成
- 多云一致体验,覆盖阿里云、腾讯云、华为云及 AWS
简单运维、标准 SQL 查询
- 支持自动扩缩容与负载均衡,无需人工介入
- 可视化集群管理,一键完成节点上下线与监控
- 兼容 MySQL 协议,支持标准 SQL,降低团队学习与对接成本
早期大模型日志系统基于 Grafana Loki,存在资源消耗大、写入性能差和稳定性不足的问题。在改用基于 Apache Doris 的新系统后,接入了所有业务线的日志数据,数据规模达 PB 级,系统可用性超 99.9%,10 亿级日志检索达秒级响应。

借助 SelectDB 的倒排索引、Variant 数据类型以及冷热数据分层存储等功能,观测云的日志存储和分析服务得到了显著增强。这不仅使我们的 存储成本降低了 70%,还将 查询性能提升 4 倍,最终实现了 整体性价比的 10 倍提升。

与 Elasticsearch 相比,Apache Doris 查询速度提升 11 倍,存储资源节省 70%。Doris 的列式存储和 ZSTD 高压缩比,让同样数据存储空间大幅减少,还能用 SSD 替代 HDD 存储热数据,进一步提升查询性能。此外,Doris 查询更加稳定,查询耗时基本在 4 秒内,最快 1 秒响应。

中信银行信用卡中心每天新增 140 亿条日志数据(80TB),总归档量超 40PB。早期的日志平台,存储成本高,写入和检索速度慢,分析能力也有限。升级至 Apache Doris 后,资源投入降了 50%,查询速度提升了 2 - 4 倍,运维效率也大幅提高。

SelectDB 日志存储与分析解决方案
多通道数据接入层
支持 Logstash、Filebeat、Fluentbit、OpenTelemetry Collector 等主流日志采集器,同时兼容 Kafka 消息队列,轻松接入来自应用、中间件、基础设施的全量日志数据。
计算与存储引擎
基于 Apache Doris 列式存储引擎,统一存储海量日志数据。支持倒排索引进行全文检索,兼顾高压缩比与极速查询,存储成本仅为 Elasticsearch 的 1/5。
可视化检索与分析层
无缝对接 Grafana 构建监控大盘与告警规则,也可使用 SelectDB Manager 进行交互式日志检索与 SQL 分析,为 ELK 用户提供平滑迁移路径。