在数字化浪潮席卷全球的今天,保险行业作为金融体系的重要组成部分,正面临着前所未有的挑战与机遇。随着大数据、云计算、人工智能等技术的快速发展,保险行业的数据量呈现出爆炸式增长,数据分散性也愈发明显。如何有效整合这些分散的数据,实现精细化运营,成为了保险企业亟待解决的问题。
保险行业的分散数据涵盖多个方面,这些数据不仅来源于公司内部的不同业务部门和系统,还可能来自外部合作伙伴、市场研究机构等。以下是保险行业分散数据的一些主要类别:
客户信息数据:包括客户的个人信息(如姓名、年龄、性别、联系方式等)、职业信息、家庭状况、健康状况、收入水平、教育程度等。这些数据对于保险公司来说至关重要,它们有助于保险公司了解客户的实际需求,进行精准的市场定位和产品设计。
保单与理赔数据:保单数据包括保险类型、保额、保险期限、保费等详细信息;理赔数据则涉及客户的出险情况、理赔金额、理赔过程等。这些数据对于保险公司的风险评估、定价策略和客户服务至关重要。
销售与渠道数据:包括销售渠道信息、销售人员业绩、销售活动效果等。这些数据有助于保险公司分析销售策略的有效性,优化销售渠道,提高销售业绩。
投资与财务数据:涉及保险公司的投资组合、投资收益、财务状况、资金流动等。这些数据对于保险公司的资产管理、风险控制和决策支持具有重要意义。
运营与服务数据:包括客户服务记录、投诉处理情况、内部流程运行状况等。这些数据有助于保险公司提升服务质量,优化内部流程,提高客户满意度。
市场调研与竞争数据:包括行业趋势、竞争对手情况、市场份额等。这些数据有助于保险公司了解市场环境,制定合适的竞争策略。
风险与合规数据:涉及风险评估、合规检查、法律法规等方面的数据。这些数据对于保险公司的风险管理和合规运营至关重要。
这些分散的数据通常存储在不同的系统、数据库或平台上,格式和标准也可能各不相同。因此,保险公司需要投入大量资源进行数据整合、清洗和标准化工作,以便能够充分利用这些数据资源。随着大数据和云计算等技术的快速发展,分析型数据库(Apache Doris)商业产品的推出解决了数据孤岛的难题。
保险行业领军企业基于 Apache Doris 统一 OLAP 技术栈实践:
早期数据库架构 保险业务的持续拓展,离不开企业的数字化战略创新。某企秉承“一站式服务”的理念,以数据驱动服务质量,并早在 2005 年已经建立了离线数仓,将业务系统的数据集中存储于 Oracle 中并按业务需求开发数据报表,同时根据寿险的不同业务主题搭建了数据集市,以加快报表生成。但随着业务的发展以及数据的积累,Oracle 的数据仓库已无法满足海量数据的存储、处理与应用需求,以下是某企早期大数据产品体系:
早期大数据产品体系如上图所示,数据流转过程主要分为离线与实时两条链路:
离线数据通过 Sqoop 、ETL 工具接入,借助 MapReduce、Spark 或 Tez 计算引擎对数据进一步处理转化、层层加工,基于 Hive 搭建离线数仓,并分别借助 PostgreSQL、Presto、Druid、HBase、Clickhouse 以及 Kylin 等不同组件支持离线数据查询与检索。
实时数据通过 Kafka 消息队列实时写入,借助 Flink 计算处理,并将计算好的指标结果存储于 PostgreSQL 中,与离线数据关联查询支持上游应用层实时分析。
早期应用痛点 由于早期架构基于多个 OLAP 组件(包括 Presto 、PostgreSQL、Hive、Kylin、Druid、Clickhouse 以及 HBase)提供计算存储与查询服务,虽然能够满足业务要求,但架构复杂与链路过长势必会增加运维成本、学习成本,同时也无法保障系统之间多源数据的一致性。更重要的是,随着用户规模的增长与业务场景多样化,数据的写入效率、查询时效性、后台稳定性也逐渐无法得到保证,时常影响业务分析效率。
大数据产品体系组件选型与思考 在上述各应用痛点中不难发现,组件过多容易出现数据存储冗余、数据不一致等问题,开发人员也需要来回导数整合组件之间的数据流,加重开发运维成本。并且,组件之间还会加重数据孤岛的现象,使数据之间缺乏关联与共享。基于此,我们希望选出一款综合性强、灵活度高的组件,能够统一 OLAP 技术栈,打通平台之间的数据读取,覆盖日常分析场景需求,实现高效导数与极速分析。除此之外,为了将数据治理更体系化,还希望引入的 OLAP 组件支持指标、标签等维度数据统一计算与存储,借用 API 为上游应用层提供统一查询服务。
在经过调研选型后,如图所示,我们发现 Apache Doris 非常符合升级需求,不仅能够覆盖常规业务场景,满足写查性能需求,同时,基于 Apache Doris 统一技术栈也将大幅度降低架构复杂度,减少运维、开发以及使用成本,最大化提升架构性能。因此,某企基于 Apache Doris 开启了新架构的升级之旅。
大数据产品体系基于 Apache Doris 融合统一的演进之路 在未引入 Apache Doris 之前,大数据产品体系借助不同 OLAP 组件提供数据存储、计算与查询服务。引入 Apache Doris 后,某企以 OLAP 引擎统一为基础,在 Apache Doris 集群之上构建了一体化指标与标签设计平台,形成 “上下经营一张表”,完善经营指标管理体系,并通过 API 接口直通应用层,面向多种场景的统一数据服务。
基于 Apache Doris 统一 OLAP 多个技术栈,并将标签与指标标准化开发与管理,共同提供统一的数据服务,使业务分析师能够进行自助式的数据探查,减少对技术人员的依赖,同时,通过方便快捷地访问、分析和可视化各种数据资源,实现数据高效、低成本的交付。
更多Doris 保险行业应用: 众安保险CDP平台:借助Apache Doris打破数据孤岛,人群圈选提速4倍 - SelectDB 招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践 - SelectDB