博客

共 324 篇
技术分享
查询性能较 Trino/Presto 3-10 倍提升!Apache Doris 极速数据湖分析深度解读
作为一款极速易用的开源实时 OLAP 数据库,[Apache Doris ](https://github.com/apache/doris)自 0.15 版本即开始尝试在 Apache Iceberg 之上探索与数据湖的能力结合。而经过多个版本的优化迭代,Apache Doris 在数据湖分析已经取得了长足的进展,一方面在数据读取、查询执行以及优化器方面做了诸多优化,另一方面则是重构了整体的元数据连接框架并支持了更多外部存储系统。因此 Apache Doris 已经完全具备了构建极速易用的 Lakehouse 架构的能力,并且也已在多个用户的真实业务场景中得到验证和推广。
SelectDB 技术团队 · 2023/02/28
技术分享
资源消耗降低 90%,速度提升 50%,解读 Apache Doris Compaction 最新优化与实现
LSM-Tree( Log Structured-Merge Tree)是数据库中最为常见的存储结构之一,其核心思想在于充分发挥磁盘连续读写的性能优势、以短时间的内存与 IO 的开销换取最大的写入性能,数据以 Append-only 的方式写入 Memtable、达到阈值后冻结 Memtable 并 Flush 为磁盘文件、再结合 Compaction 机制将多个小文件进行多路归并排序形成新的文件,最终实现数据的高效写入。
SelectDB 技术团队 · 2023/02/22
用户案例
从 ClickHouse 到 Apache Doris,腾讯音乐内容库数据平台架构演进实践
腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务,高效为业务赋能。目前,内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ,经历了分析引擎从 ClickHouse 到 [Apache Doris](https://github.com/apache/doris) 的替换、经历了数据架构语义层的初步引入到深度应用,有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题,收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考,希望所有读者从文章中有所启发。
腾讯音乐 张俊、代凯 · 2023/02/20
产品动态
Apache Doris 1.2.2 Release 版本正式发布
亲爱的社区小伙伴们,我们很高兴地宣布,**Apache Doris 于 2023 年 2 月 15 日迎来 1.2.2 Release 版本的正式发布**!在新版本中,Apache Doris 团队修复了自 1.2.1 版本发布以来超过 200 个问题或性能改进项。同时,1.2.2 版本作为 1.2 LTS 的迭代版...
Apache Doris · 2023/02/15
新闻动态
官宣 | SelectDB 与6家信创头部企业完成兼容互认证!
SelectDB 与兆芯、飞腾、海光信息、统信软件、中科可控、麒麟软件共计6家生态企业完成了产品兼容互认证,覆盖从芯片、服务器到操作系统的多款产品。
SelectDB · 2023/02/09
新闻动态
SelectDB 与袋鼠云达成合作,共创云原生一体化数字联合解决方案
SelectDB 与袋鼠云达成战略合作,并于袋鼠云总部举行签约仪式。
SelectDB · 2023/02/08
新闻动态
SelectDB 与网易数帆完成产品兼容互认证!
SelectDB 将同网易数帆一道,为用户的数字化升级保驾护航。
SelectDB · 2023/02/07
新闻动态
喜报!SelectDB 携手中航信移动科技有限公司、四川大数据技术服务中心,双双入选大数据“星河(Galaxy)”优秀案例
近日,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)主办的第五届数据资产管理大会在京落下帷幕。大会以“破局·革新·共治”为主题,发布了多项重要研究成果,并揭晓了大数据“星河(Galaxy)”案例入选名单。其中,由 SelectDB 携手中航信移动科技有限公司、四川省大数据技术服务中心联合申报的两项案例「基于 SelectDB 的航旅纵横用户行为在线分析平台」
SelectDB · 2023/02/05
用户案例
打破数据孤岛,Apache Doris 助力纵腾集团快速构建流批一体数仓架构
随着纵腾集团业务的快速发展,各产品线提出的数据需求越发严格,而早期基于多套 CDH 大数据架构的技术栈和组件繁杂,开发和运维难度高、效率低,数据质量和时效难以保障,已无法满足当下数据分析需求,严重影响相关工作的开展。因此,纵腾集团在 2022 年正式引入 Apache Doris,基于 Apache Doris 构建了新的流批一体数据架构,同时建立了以 Apache Doris 为核心的数据中台。 构建过程中对读写时效性、服务的稳定性及高并发读写等多方面进行了优化,在这一过程中我们也积累了诸多实践经验,在此总结分享给大家。
纵腾集团 张彬华 · 2023/02/02
技术分享
更高性能表现、更低资源占用,高精度计算数据类型 DecimalV3 揭秘
数值运算是数据库中十分常见的需求,例如计算数量、重量、价格等,为了适应多样化运算场景,数据库系统通常支持精准的数字类型和近似的数字类型,当我们需要精确地表示小数并计算小数时,通常会考虑使用 Decimal 数据类型。区别于浮点小数,Decimal 作为定点小数类型,可以支持高精度的小数运算,因此适用于各种高精度计算的场景,常见的应用场景有以下几种:
SelectDB 技术团队 · 2023/01/31