云计算已成为企业IT架构的重要基石,随着业务需求的不断变化和技术创新的持续推进,云原生架构凭借其高可扩展性、灵活性和高效性,逐渐成为现代应用构建的首选。而在云原生架构中,存算分离作为一种创新的设计模式,更是带来了性能与性价比的双重飞跃。
存算分离是什么
存算分离,顾名思义,是将数据存储和计算功能分别部署在不同的节点或系统中。在这种架构下,存储节点负责数据的存储和管理,而计算节点则专注于数据的处理和计算。
云原生架构是什么
云原生架构是一种基于云计算的设计理念,它强调应用、服务和工具应当在云环境中设计、构建和运行。这种架构方式充分利用了云计算的特性和优势,使得应用更加灵活、可扩展、可靠和易于管理。云原生架构的核心要素包括容器化、微服务、自动化管理和持续交付。
存算分离的云原生架构的优势
将存算分离与云原生架构相结合,可以充分发挥两者的优势,为企业带来更大的价值。存算分离的云原生架构具备以下显著优势:
1、高效弹性:云原生架构支持按需付费和弹性资源分配,使得企业可以根据实际需求灵活调整资源。存算分离的设计使得计算和存储资源可以独立扩展,从而实现了资源的高效利用和弹性扩展;
2、成本效益:存算分离的云原生架构通过优化资源配置和减少资源浪费,显著降低了企业的运营成本。同时,云原生架构的按需付费模式避免了不必要的成本支出,使得企业能够更灵活地管理预算;
3、高性能与稳定性:存算分离的设计使得计算和存储资源可以分别优化,从而提高了系统的整体性能。云原生架构的自动化管理和持续交付机制确保了应用的稳定性和可靠性,降低了系统出现故障的风险;
4、易于维护与管理:存算分离的云原生架构简化了系统的管理和维护工作。企业可以独立管理计算节点和存储节点的配置和升级,降低了系统的复杂性。同时,云原生架构的自动化管理工具使得系统运维更加便捷和高效。
存算分离的云原生架构实际案例运用:同盾科技
业务需求
同盾科技客户数据报表与分析平台主要基于设备数据、客户业务数据以及风控决策结果数据,借助数据库倒排索引能力,实现数据实时导入与快速查询,帮助业务进行关键词与明细查询、实时报表分析与聚合分析等需求。
业务挑战
1、原架构分析能力较弱
不支持 Join,在海量数据下复杂的聚合分析要么无法做、要么性能比较差;同时 ES 不支持存算分离、不具备弹性计算能力;
2、原架构使用成本较高
ES 维护成本偏高,各数据中心不支持一致的用户体验。Trust Decision 在全球有多个数据中心(如国内、北美、欧洲、东南亚),既有本地部署,又有多个云数据中心,希望在所有环境中都能有一致的用户体验。
解决方案
当前,同盾科技已在 TrustDecision 客户数据报表与分析平台中使用了 SelectDB Cloud 云服务。客户数据报表与分析平台主要对客户提供日常的数据报表与分析服务,方便客户了解风控决策效果,分析洞察风险情况。主要数据源包括设备数据、客户业务数据、风控决策结果数据等,数据量在亿级别,这些数据通过 Kafka 进行统一收集并提供给报表与分析应用使用,包括关键词查询、明细查询以及实时报表与聚合分析。
客户收益
1、性能提升
依托 SelectDB 实时导入与极速分析能力,极大增强了整个平台的分析能力。例如,在秒杀风控场景支持数千 TPS 的实时写入,数亿数据的实时分析。
2、简单易用,5 倍性价比提升
SelectDB 提供倒排索引,支持基于关键词的快速检索,而且完全基于 SQL 查询,相比 ES 查询更易使用。SelectDB Cloud 是存算分离的云原生架构,提供了弹性计算和快速扩缩容能力,带来了 3-5 倍的性价比提升。
3、运维成本降低
SelectDB Cloud 是构建于多云之上的实时数仓服务,与业内主流云厂商深度整合,提供从混合云、多云一致的使用体验,全托管的服务也极大降低了运维成本。后续,同盾科技将会在更多场景中深入使用 SelectDB,包括特征指标服务、服务可观测性、风控效果监控等,并利用 SelectDB 的湖仓融合能力与现有大数据平台更好融合,随着业务发展也将在更多云和更多地域开通 SelectDB Cloud 云服务。
SelectDB Cloud :全托管的实时数据仓库服务,支持 SaaS 和 BYOC 两种模式,多云原生,当前已经上线阿里云、华为云、腾讯云和亚马逊云科技。点击**预约演示****!**