应用场景

日志存储与分析

日志是分布式系统可观测性的核心数据来源。企业每天产生海量日志数据:应用日志、系统日志、安全审计日志、业务埋点日志。如何高效存储、快速检索并深度分析这些日志,是保障系统稳定性与驱动业务洞察的关键挑战。

查看 可观测性与日志分析 的最新博客 →

海量日志存储成本高

日志数据量增速远超预算增幅,传统方案(如 Elasticsearch)存储成本高昂,企业面临「存不下、删不起」的困境。

日志格式复杂多变

不同业务线、不同中间件的日志格式各异,JSON 等半结构化数据普遍,传统方案难以兼顾写入灵活性与查询高效性。

分析查询时效要求高

故障排查争分夺秒,安全审计不容等待。日志检索与分析必须达到秒级甚至亚秒级响应,才能满足实时运维需求。

为什么选择 SelectDB

10 倍性价比,极低的存储与写入成本

  • 在保持倒排索引的前提下,磁盘空间较 Elasticsearch 降低 80%,综合性价比提升 10 倍
  • 数据写入带宽提升 5 倍,轻松应对日均 TB 级日志摄入
  • 全文检索性能提升 2 倍,海量日志秒级定位

Variant 数据类型,灵活高效处理半结构化日志

  • 自动识别 JSON 日志的字段名与类型,以列式存储实现高效压缩
  • 相较文本或二进制 JSON,压缩率达 3 倍
  • 无需预定义 Schema,分析性能依然提升 8 倍

开放生态,无缝对接主流日志工具链

  • 原生支持 ELK(Logstash、Filebeat)、OpenTelemetry、Fluentbit 等主流日志采集器
  • 提供 Grafana 等可视化工具的原生集成
  • 多云一致体验,覆盖阿里云、腾讯云、华为云及 AWS

简单运维、标准 SQL 查询

  • 支持自动扩缩容与负载均衡,无需人工介入
  • 可视化集群管理,一键完成节点上下线与监控
  • 兼容 MySQL 协议,支持标准 SQL,降低团队学习与对接成本

早期大模型日志系统基于 Grafana Loki,存在资源消耗大、写入性能差和稳定性不足的问题。在改用基于 Apache Doris 的新系统后,接入了所有业务线的日志数据,数据规模达 PB 级,系统可用性超 99.9%,10 亿级日志检索达秒级响应。

MiniMax

借助 SelectDB 的倒排索引、Variant 数据类型以及冷热数据分层存储等功能,观测云的日志存储和分析服务得到了显著增强。这不仅使我们的 存储成本降低了 70%,还将 查询性能提升 4 倍,最终实现了 整体性价比的 10 倍提升

观测云

与 Elasticsearch 相比,Apache Doris 查询速度提升 11 倍,存储资源节省 70%。Doris 的列式存储和 ZSTD 高压缩比,让同样数据存储空间大幅减少,还能用 SSD 替代 HDD 存储热数据,进一步提升查询性能。此外,Doris 查询更加稳定,查询耗时基本在 4 秒内,最快 1 秒响应。

网易

中信银行信用卡中心每天新增 140 亿条日志数据(80TB),总归档量超 40PB。早期的日志平台,存储成本高,写入和检索速度慢,分析能力也有限。升级至 Apache Doris 后,资源投入降了 50%,查询速度提升了 2 - 4 倍,运维效率也大幅提高。

中信银行

SelectDB 日志存储与分析解决方案

日志存储与分析架构图

多通道数据接入层

支持 Logstash、Filebeat、Fluentbit、OpenTelemetry Collector 等主流日志采集器,同时兼容 Kafka 消息队列,轻松接入来自应用、中间件、基础设施的全量日志数据。

计算与存储引擎

基于 Apache Doris 列式存储引擎,统一存储海量日志数据。支持倒排索引进行全文检索,兼顾高压缩比与极速查询,存储成本仅为 Elasticsearch 的 1/5。

可视化检索与分析层

无缝对接 Grafana 构建监控大盘与告警规则,也可使用 SelectDB Manager 进行交互式日志检索与 SQL 分析,为 ELK 用户提供平滑迁移路径。

更多资源

文档

日志存储与分析完整技术文档,涵盖接入指南、存储调优、全文检索配置与可视化集成。

查看文档 →

案例

MiniMax、网易、中信银行等企业日志系统实战经验,从 ES/Loki 迁移到 SelectDB 的路径与收益。

阅读博客 →

视频

手把手演示日志采集、存储与检索全流程,学习 SelectDB Manager 日志分析操作。

查看视频 →