趣丸科技成立于 2014 年,是一家集兴趣社交及电子竞技等业务于一体的创新型科技企业,旗下有 TT 语音、麦可及 TTChat 等多款兴趣社交产品。核心产品 TT 语音是国内领先的兴趣社交平台,累计注册用户已超 2 亿。
业务需求
在趣丸科技数字技术基础中,用户画像和行为分析是技术底座中的核心功能,通过精准的用户画像构建和人群圈选持续提升业务运营能力,带动业务增长。整体画像平台的业务流程需要将多源的数据汇聚到数据平台,其中数据源包括用户行为数据、离线标签、实时标签和日常运营产生的数据。这些数据通过数据集成服务汇聚到数据平台后,在数据平台中构建用户画像模型,对外提供人群画像、人群圈选、用户洞察、效果分析等数据服务,最终应用于智能运营、AB 实验、客服系统、风控系统和推荐系统等各个上层应用系统中。
业务挑战
- 实时写入与原子性无法保障
由于数据更新性能有限,因此无法满足实时标签频繁更新,在写入方面存储在瓶颈。同时 ClickHouse 内存管理不完善,易出现 OOM 导致服务进程退出的情况。此外,因为 ClickHouse 不支持事务,DDL 语句无原子性保障。
- 运维与存储成本高
由于 ClickHouse 是存算一体架构,海量数据存储下每个节点都需要挂载 SSD,造成存储成本居高不下,并且扩缩容和运维的成本较高。
- 复杂查询能力差
ClickHouse 多表 Join 能力弱,导致大部分业务要在数据集成侧打成大宽表后才能分析,增加业务处理的复杂度。
解决方案
基于以上痛点,趣丸科技将数据平台进行了升级改造,从 ClickHouse 升级到 SelectDB Cloud。基于 SelectDB Cloud 的新架构也解决了过去存在的诸多痛点:
- 解决标签数据实时性与准确性
基于主键表的部分列实时更新,解决了过去标签更新不及时的问题;提供轻量化并且原子化的元数据修改,解决标签的数据准确性问题。
- 存算分离提供极致性价比
SelectDB Cloud 通过 MemTracker 机制对内存进行有效管控,可以及时发现和 Kill 异常查询,保证了稳定的查询服务、保障线上业务的稳定运行。通过存算分离提供了极致的性价比,云上开箱即用的服务,降低了运维成本。
客户收益
基于 SelectDB 成功构建新一代数据平台,解决了过去存在的数据更新不及时以及数据准确性问题,极大降低了业务的复杂度,提升了业务的灵活性。
- 实现多种负载查询场景
SelectDB Cloud 既支持大宽表查询,也支持复杂的多表 Join 查询。在实际应用中,百亿明细数据和十多亿的标签数据 Join 仅需要 3-5 秒就能完成,这极大降低了业务的复杂度,提升了业务的灵活性。
- 存储成本节省 40%,圈选效率提升 10 倍
经过一系列的架构探索,趣丸科技在服务器资源和成本方面节省了 40%以上,解决了过去存在的数据更新不及时以及数据准确性问题。基于弹性计算、多集群部署以及资源隔离等能力使服务可靠性提升 5-10 倍,整体人群圈选效率提升 10 倍。
SelectDB Cloud 作为聚焦实时数据仓库与用户画像分析的平台,其核心能力依赖稳定的数据存储底座、安全的数据传输链路及高效的资源管理体系。AWS RDS 与 AWS PrivateLink 可从数据存储可靠性、传输安全性及网络效率层面为其提供针对性支撑。一方面,AWS RDS(亚马逊托管关系数据库服务)为 SelectDB Cloud 提供了稳定、低运维的数据来源管理方案。SelectDB Cloud 需集成多源数据(如 MySQL 业务库实时数据、Hive 离线数仓数据等)以完成用户画像建模,而 AWS RDS 可作为其上游关系型数据源的高可用后端。另一方面,AWS PrivateLink 解决了 SelectDB Cloud 敏感数据传输的安全性与低延迟需求。同时 AWS PrivateLink 支持 “即开即用” 的云服务集成模式,无需复杂的公网 IP 配置与防火墙规则管理,契合 SelectDB Cloud 对 “极简运维” 的诉求。
AWS RDS 与 AWS PrivateLink 形成互补:前者通过托管数据库服务提升数据存储的可靠性与易用性,后者以私有网络连接保障数据流动的安全与效率。两者共同为 SelectDB Cloud 构建了 “稳定存储 + 安全传输” 的底层支撑体系,使其能够更专注于核心能力迭代 —— 例如优化实时数据建模算法、拓展多场景分析模板等,从而在用户画像管理、实时业务决策等场景中持续释放价值。
通过深度集成亚马逊云科技生态服务,SelectDB Cloud 可进一步强化其云原生属性,在数据驱动的数字化转型中为企业客户提供更可靠、更高效的解决方案。