返回
实时数据仓库分享

基于 SelectDB 打造实时数仓与可观测性领域的行业标杆

SelectDB· 2025/08/06

观测云是一家国内领先的具备可观测性的实时数据检测平台的公司,其自研产品「观测云」首批通过中国信通院颁发的「可观测性平台技术能力」先进级认证,可实现对云、云原生应用及业务系统的统一观测需求,为互联网、零售、金融等行业用户提供统一高效的数字化可观测服务。

业务需求

随着可观测理念逐渐深入人心,人们越来越意识到通过多层次、多维度、多视角的数据来观测应用系统,以提升故障的定位效率以及业务分析能力。然而,在真正尝试落地实践构建可观测平台时,会遇到各种问题。观测云的核心需求是建立一站式数据门户,为架构减负,统一业务系统查询与分析。

业务挑战

01. 数据来源不一

客户端需要观测包括 Native、Webview、Hybrid、小程序等多种 App 环境;应用后端需要关注 Java、Python、PHP、Go 等程序语言;也需要从不同的中间件和基础系统如 Redis、MySQL、Doris、Kubernetes、Linux 等系统中采集不同维度的数据。还存在部分基础数据在托管的云厂商上,持续跟进和完善整个采集链路的成本和难度非常高。

02. 原架构维护成本较高、易用性较低

  • Elasticsearch 资源开销高:内存和 CPU 开销高,同时历史数据存储的成本高;当前 ES 的冷数据存储设计还存在查询准确性问题。
  • Elasticsearch 维护成本高:在高负载下集群稳定性不高,频繁遇到分片数据量限制,需要经常手动调整索引分片数量。
  • Elasticsearch Mapping 动态映射字段易用性差:在长期使用过程中,一些字段会被淘汰、另一些字段新增,经常遇到总字段数的限制;字段创建后不能更新,时常遇到字段类型的冲突。

解决方案

观测云选择使用 SelectDB Cloud 替换 Elasticsearch,充分发挥 SelectDB 在日志存储以及半结构化数据方面的优势。观测云与 SelectDB 借助简化语法元素,在此基础上设计出了新的查询语言 DQL,并且增强了在可观测场景下的常见计算函数,通过 DQL 即可查询指标、日志、链路追踪、对象等所有的可观测数据。

客户收益

基于 SelectDB 成功构建起一站式数据门户,统一了指标标签计算存储,支持报表分析、即席查询、营销机构人群圈选系统以及多维分析的应用,并已上线了管理层的报表应用系统、总部与一线运营人员的可视化分析系统。

SelectDB Cloud 作为聚焦实时数据仓库与用户画像分析的平台,其核心能力依赖稳定的数据存储底座、安全的数据传输链路及高效的资源管理体系。AWS RDS 与 AWS PrivateLink 可从数据存储可靠性、传输安全性及网络效率层面为其提供针对性支撑。一方面,AWS RDS(亚马逊托管关系数据库服务)为 SelectDB Cloud 提供了稳定、低运维的数据来源管理方案。SelectDB Cloud 需集成多源数据(如 MySQL 业务库实时数据、Hive 离线数仓数据等)以完成用户画像建模,而 AWS RDS 可作为其上游关系型数据源的高可用后端。另一方面,AWS PrivateLink 解决了 SelectDB Cloud 敏感数据传输的安全性与低延迟需求。同时 AWS PrivateLink 支持 “即开即用” 的云服务集成模式,无需复杂的公网 IP 配置与防火墙规则管理,契合 SelectDB Cloud 对 “极简运维” 的诉求。

通过深度集成亚马逊云科技系列生态服务,SelectDB Cloud 进一步强化了云原生属性,在数据驱动的数字化转型中为企业客户提供更可靠、更高效的解决方案。