实时数仓SelectDB

实时数据仓库资讯
2024/10/23
SelectDB

在当今数据驱动的时代,企业对于数据分析的需求日益增长,特别是对于实时数据分析的需求更为迫切。无论是金融、互联网、新零售,还是制造和政务等领域,企业都在追求快速、高效的数据分析能力,以更好地应对市场变化和业务挑战。在这种背景下,实时数仓SelectDB应运而生,为企业提供了一个极致性能、融合统一、简单易用、高性价比的解决方案。

111.png

产品概述

SelectDB是北京飞轮科技有限公司基于Apache Doris项目开发的新一代实时数据仓库。它不仅具备实时性、云原生和开源等特点,还通过差异化的产品形态满足了云上和私有化部署用户的不同需求。SelectDB主要包括SelectDB Cloud和SelectDB Enterprise两款企业级产品,这些产品为企业提供了极致弹性、高性价比和安全合规的实时数据仓库服务。

飞轮科技成立于2022年,总部位于北京,是一家专注于企业级实时数据仓库产品供应的科技公司。公司的核心业务包括研发和推广开源实时数据仓库Apache Doris,为Apache Doris用户提供技术支持和商业服务,以及推出基于Apache Doris内核的SelectDB商业产品。SelectDB已服务多个行业,包括金融、互联网、新零售、制造和政务等,助力企业在数字化转型中实现数据分析的实时化。

目前有两款商业化商品:SelectDB Cloud 和 SelectDB Enterprise

SelectDB Enterprise:自管理私有化软件,部署在物理机、虚拟机或 K8s 上

2.jpg

SelectDB Cloud:全托管的实时数据仓库服务,支持 SaaS 和 BYOC 两种模式,多云原生,当前已经上线阿里云、华为云、腾讯云和亚马逊云科技。

1.jpg

产品设计和技术

SelectDB的核心设计思想是将实时性与统一相结合,通过现代技术架构和创新功能,为企业提供极速、易用的实时数据仓库。以下是SelectDB在产品设计和技术方面的详细介绍:

  1. 云原生架构: SelectDB采用云原生存算分离架构,实现了资源的高弹性扩展。计算层负责处理SQL查询、数据处理和聚合操作,通过查询优化器和分布式执行计划,实现复杂查询在大规模数据上的快速执行。存储层则负责持久化数据,通过列式存储方式减少数据读取量和存储空间,支持分区管理,提高查询效率。

  2. 列式存储和向量化执行引擎: SelectDB继承了Apache Doris在列式存储和向量化执行引擎方面的技术优势。列式存储使得数据按列存储,大幅减少了读取数据量,提升了I/O性能。向量化执行引擎则通过将数据块进行批量操作,减少了CPU开销和内存操作,大幅提高查询速度。

  3. 开放生态和兼容性: SelectDB基于开源并兼容Apache Doris,实现了与Doris上下游生态的对接。同时,它还支持MySQL的连接协议、功能和SQL方言,兼容MySQL生态。此外,SelectDB提供了开放数据访问接口,方便被各种外部查询引擎查询,并支持多种数据压缩算法,降低了存储成本。

  4. 高效的任务调度: Apache Doris在2.1版本中引入了Job Scheduler功能,实现了自主任务调度能力。SelectDB继承了这一功能,能够在特定时间点或按照指定时间间隔触发预定义操作,实现任务的自动化执行。这保障了数据导入的完整性和一致性,降低了系统故障的风险和运维成本。

产品性能

SelectDB在性能方面表现出色,能够处理大规模数据集上的实时分析查询,支持数十亿甚至数万亿条记录的快速查询。其性能优势主要体现在以下几个方面:

  1. 实时极速: SelectDB通过服务融合、多模统一和实时批量统一等技术,实现了秒级数据实时性和极速查询能力。在TPC-H等基准测试中,其性能远超传统数据湖查询系统,展现出3-5倍的性能提升。

  2. 融合统一: SelectDB支持结构化、非结构化、半结构化多种数据类型的统一分析,并通过负载管理实现实时和批量的统一。对于非结构化数据,它提供了类似Elasticsearch的倒排索引技术,支持快速文本检索;对于半结构化数据,它使用APP数据类型自动推断并高效存储JSON等数据,性能比传统分析方案提升5倍以上。

  3. 弹性架构: SelectDB通过计算隔离、存储分层和存储计算分离,实现了云上产品所需的极致资源弹性。计算隔离支持物理硬隔离、软隔离和仅计算节点三种模式,可根据不同业务需求进行灵活组合;存储分层则将冷热数据自动分层到SSD、HDD和对象存储三个层级,优化存储成本;存储计算分离使得多业务可共享存储,提高资源利用率。

产品优势

SelectDB以其卓越的性能和独特的设计,具备以下显著优势:

  1. 极致性价比: SelectDB通过优化的存储和计算架构,降低了存储成本,提高了综合性价比。在云场景下,其性能达到其他产品的1.5倍,而存储成本较云盘可降低90%,综合成本可低至自有部署成本的1/2~1/5。

  2. 安全合规: SelectDB在身份验证、访问控制、网络安全、数据保护等多方面提供安全技术加持,已通过六项ISO认证,确保数据的安全合规。

  3. 简单易用: SelectDB提供了丰富的可视化数据开发工具,无需专业DBA即可自动SQL调优。同时,其可视化管理平台降低了运维和使用复杂度,用户可专注于业务本身。

  4. 生态丰富: SelectDB与多个生态上下游企业完成产品适配,覆盖芯片、服务器、操作系统和云平台,性能与兼容性均表现良好。它能够与外部系统高效集成,为用户提供统一的查询接口。

产品价格

SelectDB提供了灵活的价格方案,以满足不同客户的需求。无论是公有云部署还是私有化部署,客户都可以根据自身业务需求选择适合的版本和配置。具体价格可通过官方渠道或联系销售团队获取。

产品操作指南

SelectDB的操作简单便捷,以下是一个基本的操作指南:

  1. 创建组织、仓库和集群: 首先,用户需要在SelectDB的管理平台上创建组织、仓库和集群。组织是一个企业或独立的团体,仓库是一个逻辑概念,包含计算和存储资源,一个组织下可以创建多个仓库以满足不同的业务需求。集群是仓库中的计算资源,包含一个或多个计算节点。

  2. 数据导入: 用户可以通过多种方式将数据导入SelectDB,包括从对象存储导入,或者通过查询访问其他数据源。SelectDB支持批量导入和实时数据流导入,能够满足不同场景下的数据导入需求。

  3. 查询和分析: 导入数据后,用户可以通过SelectDB提供的SQL查询接口进行数据查询和分析。SelectDB支持复杂的聚合查询和多维度分析,能够为企业提供全面的数据分析支持。

  4. 运维管理: SelectDB提供了可视化的运维管理平台,用户可以通过该平台查看集群状态、管理用户组织、进行安全审计等。同时,SelectDB还提供了丰富的运维管理工具,降低了日常运维操作的复杂度。

结语

SelectDB作为一款基于Apache Doris构建的现代化实时数据仓库产品,具备实时极速、融合统一、弹性架构和开放生态等核心特性。它能够广泛应用于实时报表、交互分析、用户行为分析、日志分析等场景,为企业提供极致弹性、高性能和高性价比的实时数据分析能力。在未来,SelectDB将继续致力于技术创新和用户体验优化,为企业提供更加高效、智能的数据分析解决方案,助力企业在数字化转型中取得更大的成功。

实时数仓数据分析数据仓库列式存储