【金融业分布式数据库选型及HTAP场景实践】作为数据基础设施的重要组成部分,数据库在其中扮演着重要的角色。近些年来,数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注,从多家机构的最新报告来看,开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式,正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境,包括云上数据库的发展速度也远高于非云环境。据乐观估计,在未来5~10年云数据库将占据整体数据库市场的七成以上。此外,对迁移到公有云、使用多云环境等问题,也普遍被企业所接受。其三、是数据融合趋势,针对数据多场景应用,使用融合技术简化访问,提升效率。作为数据使用高地,金融行业一方面对数据库有着极高的要求,一方面又面临很多来自数据新的挑战,诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现,迎合这一发展趋势,对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手,对如何选择分布式数据库及选型后的最优实践进行阐述。

1. 金融业数据库选型背景
随着企业数字化转型深入,对于数据使用场景也呈现多元化趋势,正有越来越多数据被企业利用起来。金融行业作为数据库应用“高地”,这一趋势表现更为明显。同时我们也看到,近些年来数据库领域也发展迅速,有分布式数据库、多模数据库、云数据库为代表的产品不断涌现。这些新兴数据库在特定场景有很好的使用前景。基于上面两种趋势,金融行业很多企业都在面临选择数据库的问题。
1).选型技术层面要素分析
从技术角度来看,在数据库选型中有哪些要素需要考虑呢?下面以近期比较关注的分布式数据库的选型为例,说明下重点考量的技术要素。
分布式事务
分布式架构,自然会带来分布式事务的问题。由于需要跨节点的网络交互,因此较单机事务会有很多损耗。随之带来的是事务处理时间较长、事务期间的锁持有时间也会增加,数据库的并发性和扩展性也会受到影响。针对单笔事务来说,分布式事务执行效率是肯定会有降低的,分布式带来的更多是整体处理能力的提升。
性能
由于分布式数据库通常使用的二阶段提交和各节点之间的网络交互会有性能损耗,分布式数据库优势不是单个简单SQL的性能,而是大数据量的SQL查询,每个节点会将过滤之后的数据集进行返回,会提升性能,并且分布式数据库的优势是并发,大量的SQL并发也会比单机数据库强大,应用需要做分布式架构的适配,将串行执行机制尽量都改造成并发处理。对于含有需要节点间数据流动的SQL语句的事务,OLTP类的分布式数据库处理效率一般较差,事务处理时间会较长,事务期间的锁持有时间也会增加,数据库的并发性和扩展性也会受到影响。建议尽量改造存在跨节点数据流动的SQL语句(主要是多表关联)的事务。
数据备份
分布式数据库的一致性保证通过内部时钟机制所提供的全局时间戳,所有节点都会遵循该机制,所以备份恢复的增量也是基于全局时间戳,但是分布式数据库的备份解决方案最重要的标志为是否支持物理级的备份,物理级的备份会比逻辑的备份性能吞吐大很多,还有就是是否支持一些分布式备份方案,比如S3协议接口,是否支持压缩等功能。分布式数据库基本都具备备份和恢复方案,通常从备节点进行连续备份(全量+日志),恢复的时候指定节点进行恢复到指定时间点,整个过程可配置自动任务、自动执行。
高可用
分布式数据库大多都是基于多数派协议,同城双中心不适合多数派的要求,同城数据级多活建议采用三中心部署。如果同城主备可以采用集群级的异步复制,异地建议采用集群级的binlog异步复制,建议实例的主备节点设置在同城两个双活数据中心,仲裁节点三机房部署;异地灾备单独启实例与本地实例进行数据库间同步,也可以将本地备份文件T+1恢复到异地灾备。
数据一致性
分布式数据库大多都是通过获取全局时钟时间戳,采用二阶段提交,可以实现一致性的保证,分库分表架构对于事务的一致性,需要应用层考虑,比如通过合理的分区键设计来规避。部分分布式数据库对于跨节点事务目前还是实现的最终一致,对于全局一致性读,一般通过引入类似全局时间戳的组件统一管理全局事务,在数据库选型时可以重点关注厂商对这一块的实现。如果目前暂时无法提供全局一致性读的分布式数据库,对于要依赖分布式事务“中间状态”的业务,优先进行业务改造进行规避,其次通过合理的数据分片设计让其在单节点内完成。
数据分析
分布式数据库,多采用存算分离架构。针对数据分析场景,需要对数据从下层存储节点上移到计算节点,这对分布式数据库提出了更高的要求。一方面可通过算子下推等技术,减少需传输到计算节点的数量;一方面针对汇聚后的结果需要通过流式处理等方式,规避诸如OOM的问题;此外也可采用如MPP等并行处理技术,加速数据分析过程。
2).选型过程问题痛点分析
在选型过程中,会遇到来自以下几方面的痛点。
一是由于分布式数据库整体架构还比较新,也是近十年来逐步发展完善的。针对新型架构的诸多特点,包括厂商和用户还都在不断摸索积累之中,还需要有个长期实践的过程。此外,新架构也需要有个逐步成熟完善的过程。
二是大量产品来自国内数据库厂商,其发展周期相对较短,还需要在产品成熟度、稳定性、周边生态等方面不断完善。对于用户来说,一方面需面临产品多、技术栈多的现状;另一方面还需面对成熟度不足等问题,存在较多痛点。
三是近些年金融行业发展迅速,各种新的业态产品不断涌现,这些对作为底层数据基础的数据库也提出了更高的要求。
四是随着内外部环境的变化,自主可控等问题受到更多的关注。金融行业首当其冲,针对上述问题也需要引起足够的重视。在数据库选型问题上,也需要考虑这一因素。这无疑对用户选择带来一定困难。

2. 数据库选型技术架构
1).分布式路线分析
针对分布式数据库的发展路线,大体可分为两种:
分布式中间件
这种架构是从中间件路线演进而来。其采用存储与计算分离架构,底层采用标准单机数据库,副本间基于数据库主从复制机制。上层承担计算,并可将部分计算下推到存储节点执行。这种架构在分布式事务、全局MVCC等方面,往往存在一定难点,各厂商也有各自解决之道。
原生分布式
这种架构正是受到Google论文影响演进而来。其采用存储与计算分离架构,底层采用单机库(不一定是关系型),副本间采用分布式一致性协议完成复制,支持多数派提交。上层承担计算,并可将部分计算下推到存储节点执行。
2).重点需求满足情况
针对上述遇到的痛点,两类产品实现逻辑也所有不同。

3). 路线场景分析
从数据使用场景来讲,可大致按下面进行划分:

针对不同的场景,不同分布式数据库路线产品各有所长。
针对事务类场景下,强调高并发联机交易、对分析能力要求不高的场景比较适合分布式中间件路线产品。
针对事务类及事务/分析混合类场景,既要满足常规联机交易场景的同时,还需满足分析类的一部分能力,这种情况比较适合原生分布式产品。基于原生分布式的 HTAP 数据库,用一个数据平台应对规模化交易和实时分析,提升业务决策的时效性,降低数据技术栈的复杂性,越来越多的混合负载需求推动了 HTAP 在金融场景的落地。
3. 金融业 HTAP 应用场景实践
1). 金融场景下 HTAP 的分析
在金融企业数字化转型的过程中,各类业务对“海量、实时、在线”的数据需求变得愈发迫切。在金融企业运营场景中,实时推荐、精准营销是企业提升竞争力的一大因素。在企业风险控制场景中,实时风控、反欺诈等业务开展可以更早地识别和阻断风险可以让企业减少损失,HTAP正是基于上述背景诞生出的需求,为各类实时数据处理需求提供了解决方案。
2).某金融用户 HTAP 的架构设计和实践
随着金融市场同业业务的蓬勃发展,业务部门对于交易数据的实时统计分析和展现有了急切的需求。基于大数据技术栈的 T+1 报表模式,已无法满足业务部门通过实时分析交易发生情况来防范风险以及提供决策的需求,迫切的需要找到一种能让数据实时变现的解决方案。结合金融行业特点,在技术选型过程中,重点考察待选产品如下能力:包括承载业务复杂查询处理、海量数据容量存储、应用透明无侵入、开发协议可适配及混合负载下的表现等。经过测试,选择 TiDB 作为基础数据库平台。通过一段时间上线使用,满足业务场景,基于其 HTAP 的特性,打造金融市场实时数据平台,目前已投产了灵活报表和交易对手分析等功能。整个处理流程包括:
Flink 消费交易系统产生的实时增量数据,对部分事实表进行拉宽处理并写入TiDB
维表和其他明细表直接写入 TiDB
BI 工具直接连接 TiDB,提供秒级的实时计算和分析能力

这一案例中,构建千万及以上数据规模、超过五张表的复杂关联实时查询能力,让业务人员在极短的时间内(大部分报表执行时间为几十到几百毫秒、个别报表秒级别)获得实时交易的详情。
3).未来 HTAP 的场景发展
实时数据处理技术还以某些具体的应用场景为主,从现状来看以事件驱动类、流式管道数据计算类为代表的场景,已经开始使用 HTAP 场景的。未来随着 HTAP 计算能力进一步的提升,实时全量数据的计算将带来更多场景。

4. 面向未来的架构趋势
1).云原生
从未来的发展趋势来看,云方向是一个大的趋势。

从上图可见,云数据库的发展经历了几个阶段,从云托管、云服务、云原生之路。
云托管,是最接近传统数据库系统的部署模式。本质是将原本部署于IDC机房内物理服务器上的传统数据库软件部署在了云主机上。这种模式下,云平台提供诸如高可用、异地灾备、备份恢复、数据安全、SQL审计、性能优化和状态监测等企业级数据库管理能力,用户可减少运维投入即可享受之前同等的服务水平。
云服务,之前的托管架构中,受限于传统数据库架构的局限,未能完全发挥云计算的优势。在诸如弹性扩展、高性能、高可用等方面,均有不足。到了云服务时代,充分利用云基础设施的底层能力,提供定制化的数据库产品。
云原生,与之前的云服务架构不同,这一阶段产品将更为充分地利用云基础设施的能力,通过多层资源解耦,可享受云带来的弹性扩展、按需供给、超大规模能力。真正做到了数据库与云的深度结合。从长期来看,金融机构逐渐把业务和技术向云原生演进,实现传统应用迁移上云和云原生改造是重要的方向。在这个过程中需要考虑分布式数据库对 K8s、微服务应用的支持,提供高效、弹性调度能力,同时需要兼顾开发运维和敏捷度。
2).多云方向
云作为未来主流的资源供给方式,多云必然是企业不得不考虑的问题。多云通常指金融机构同时采用多种不同的云环境组合来满足业务需求的多样性和金融业监管的要求。如何围绕数据打造面向未来的多云 IT 架构,满足在多云之间提供数据服务能力,摆脱单一供应商的弊端,是必须考虑的问题。多云架构对分布式数据库的考察重点聚焦于跨地域、跨公有私有云、跨本地 IDC 和 K8S 的部署、服务提供与统一运维能力等。

#一个幼儿园家长的感悟#(一)
这几天幼儿园陆续开学报到,我紧追时事热点,来分享一下我做幼儿园家长的几点感悟。如果能引起你的共鸣,欢迎转发、评论、点赞,你的支持鼓励,我的创作动力。

我家是双职工,没有老人帮助带娃,所以在女儿满22月龄时,就送进了托班(原计划19月龄就送去的,但当年yi情封校,推迟了3个月)。所以我们某种程度,早早就借助了教育机构的社会分工,缓解了小家庭养娃的部分压力。

虽然我女儿目前才4岁2月龄,但她已在幼儿园大环境中,成长了28个月。我可以算是某种程度的资深幼儿园家长了。

交待完我家简单情况,切入正题,说一下我做幼儿园家长的几点感悟。

今天分享第1个话题:
【如何应对幼儿园的巨大变化?】

这个月初,恰巧有位粉丝朋友问了相关问题:孩子升班后,熟悉喜爱的老师没跟着一起升班,怎么办?

我当时给出的看法是:可以尝试去改变,推动事情向心仪的方向发展,但尝试过后,需要接受无法改变的可能。

孩子在学生时期换老师/换班/换同学,是非常自然的,我们都经历过,孩子也必然经历。但结合孩子年龄较小、抗压能力弱的实际情况,我们做家长的出于关心,单方面希望孩子熟悉、喜爱、已建立稳定情感联系的老师/同学不出现改变,这个心情完全能理解,我也经历过。

但仔细想一下,即便你出手干预成功,推动扭转了事情走向,可,孩子迟早要面对换老师/换班/换同学的问题,你只是延迟了问题出现,而非解决问题。今年这位老师留下了,明年呢?后年呢?

所以很多时候,我们出手干预,不如顺其自然,因为无论早晚,有些问题总得面对。

害怕改变的人,不是害怕改变本身,而是害怕自己无力招架。相同,害怕孩子的幼儿园环境出现改变,父母担心的也并不是改变本身,而是担心孩子无力招架。某种程度,是对孩子信心不足。

在我女儿托班升小班那年,
我也遇到过类似情况。

当时她幼儿园是1个托班、2个小班的班级设置,那部分从托班就入学、即将升小班的孩子,会与直接小班入学的新同学,混合打乱,进行拆分排班。也就是说,已经在托班阶段相处了一年多的好朋友们,有可能在升入小班时,被编入2个不同班级。

当时,我真的很想出手干预,想尽自己之力,保护一下女儿已建立了稳定情感联系的同学圈。比如,我可以强烈向校方传递我的分班意向,比如,我可以联系女儿好朋友们的家长,一起提出分班诉求。

但,这个冲动,我仅持续了半天,可以说是一晃而过,立刻被自己推翻了。

为什么最终决定不出手干预?
是因为我深信,女儿即便没和老朋友们分在同个班,也必然会遇到新的朋友,开始新的故事。

我们总喜欢执拗于一些情感的联结,把自己的情绪与价值,定义在某一段关系中,也许是亲情,也许是友情、爱情。但越是这样执拗的人,越是无法获得健康的亲密关系。

不执拗于抓住一段稳定关系,缘分到来时,珍惜当下,缘分散去,挥手道别,然后迎接下段缘分。这才是健康的人与人的关系。这样的人,才更可能获得真正坚固、长久的亲密关系。

所以我没有干预当年的分班。

身为妈妈,我应该做的,是提供给孩子最稳定健康的【家庭关系】,通过家庭内部超坚固、超安全的情感联结,去应对外面世界的种种改变。

心底深处有家的安全感,
孩子是不会惧怕外界动荡的。

这才是我该做的,而学校层面的事务,不属于我的范畴。

对幼儿园出现的没有原则问题的变化,例如换老师、换教室等,家长采取顺其自然的态度,并不是不作为,而是站在更高更长远的角度,去看待解决。

家长之所以称为家长,是因为我们站在了可以真正影响孩子根基的地方,那就是家。而学校的影响力再大,不过是外界因素之一,除非遇到那些绝不可妥协的原则问题,比如涉及到校区安全/环境健康等,那我们必须坚决守护孩子。

我平时生活中也接触过一些家长/亲戚,我发现一个有趣的情况,那些把【家庭内部情感联结】充分做到位的家长,常常对孩子学校的改变一笑置之,隔山相望。相反,越是家庭关系动荡、亲子关系紧张的,越是想在涉及学校的问题上,插手刷一波存在感,喜欢申诉、痛斥学校管理,喜欢吐槽、抱怨老师。(没有批评的意思,仅仅记录我的这一发现)

努力改变能改变的,学会适应无法改变的,是孩子在学校成长过程中,需要不断进修的一项技能。

但这个技能,恰恰也是很多家长需要自我审视的:当你总是在害怕改变的时候,你究竟在害怕什么?

好了,这就是我今天分享的《一个幼儿园家长的感悟专题》第1篇,主要谈了我对如何应对幼儿园变化的一些看法。如果能引起你的共鸣,欢迎转发、评论、点赞,你的支持鼓励,我的创作动力。

给我多点鼓励,我会加快更新[彩虹屁]
下个分享再见~
#晴天小作文#

【据浙江人透露:浙江人请客很少用茅台五粮液,却偏偏钟爱这3款酒】#酱香酒# #美食分享# #白酒# #浓香型白酒# #好酒# #不可辜负的美食# #我的美食日记#

这么多年来,浙江人一直以精明,会做生意给我们留下了非常深刻的印象,因此浙江也有着非常强大的经济,文化,浙江人的人均收入也在我国名列前茅,而一般经济高度发达的地区,商业自然也是十分发达,而浙江的酒桌应酬也十分的常见,可是按理说,有钱的浙江人酒桌应酬应该会选择茅台,五粮液等价格昂贵的名酒,可是据我的浙江朋友透露:他们无论是应酬,还是自饮,都很少选择这些酒,反而他们对于白酒有着自己的理解。

首先就是浙江是我国黄酒酿造最大的省份,因此浙江人基本上是很少喝白酒的,他们更衷情于绍兴等地的特产黄酒,可是浙江人“一滴白酒都不沾吗?”,其实不是这样的,有一部分浙江人还是很喜欢喝白酒的,所以虽然他们爱喝黄酒可并不意味着他们不喝白酒,只是说浙江人相较于白酒来说,日常生活中更喜爱白酒罢了。

浙江人对于吃喝的讲究,在全国上下都是出了名的,其实浙江人会喝,会吃,还是与我国北方产生一定区别的,就说北方人吃饭,一般都是大锅菜,大家聚在一起,举杯畅饮,而浙江人喝酒更是呈现出典型的南方特色,而且浙江人更讲究自饮,看看鲁迅笔下的《孔乙己》便是如此。

而浙江人除了在一些商务宴会会使用一些国家性的传统名酒,如果只是简单的应酬或是自饮,那么浙江人对这3款酒可谓是爱不释手了。

①同山烧

同山烧应该是浙江白酒中最具代表性的名酒了,同山烧前身是浙江当地的自酿的高粱酒,因为其工艺完全是家庭式生产,所以基本都是全手工制作,也正是因为独树一帜的工艺模式,同山烧的酿酒工艺也被列为了我国省级非物质文化遗产之一,作为一款清香型白酒,虽然度数高,但是却很好入口。

虽是白酒,酒色却十分的红润,因为同山烧在酿造过程中加入了大量的高粱叶,酒水吸收了高粱叶的颜色,便呈现出红色。

②宁波大曲

说起宁波大曲,估计很多浙江年轻一辈都闻所未闻,可是要是问到老一辈的宁波人,应该不陌生,而这款酒在上个个世纪,一度火遍浙江,而在当时浙江人也一直将宁波大曲作为日常的口粮酒饮用。

可是到了90年代末期,宁波大曲的高销量让很多不良商家盯上,于是大量的宁波大曲的假酒流入市场,最终宁波大曲深陷假酒风波,一度停产。

而到了21世纪,宁波大曲重新恢复了生产,虽然说回到曾经的辉煌需要一段时间,但是正规的宁波大曲口感还是非常不错的。

③汉董大师酒

并未一款产自浙江的白酒,而是一款产自贵州茅台镇的酱香酒,最近一段时间,凭借其高额的性价比和出色的口感,让一部分喜欢酱香酒的浙江酒友爱不释手。

这款酒的工艺和原料均来源于茅台酒厂,所以在酿酒主料方面选择优质的小红粱,工艺则是传承于百年的大曲坤沙酱香酒,所以此酒出酒便带有非常浓厚的酱香味,而为了让酒水的风味物质更加丰富,所以在出酒的时候还会进行10年的足年窖藏。

开盖酒香四溢,酒水入杯,清澈中透露着一些老酒的微黄,入口香味复杂,各种香味不断冲击着味蕾,空杯后满口的粮香。

今天的分享就到这,如果你是浙江人,你还喜欢喝什么白酒?不妨在评论区留言讨论。


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 第二是再次看到死亡的小鸟,果然,宇宙会不停地来给我送考题,从惊恐到反思都只是停留在了情绪和行为思考的层面,分析为何如此,分析如何改变......有了确认的答案之
  • 二、轻中度痤疮,临床上的老师还是会推荐患者去刷酸,刷酸会有一段时间褪皮或者是红肿,那么刷酸对于轻中度痤疮,那些凝胶就像阿达帕林,过氧化苯甲酰这些还需要继续使用吗
  • 和所谓的芸能人接触什么的只是其中5%的工作,除此以外要做的事又多又杂各种脏活累活夹在中间被骂的都是P没有大家想的那么轻松愉快[苦涩]转职的话看看你是在什么业界?
  • 永远不要去幻想人生是一帆风顺的,如果一直顺利,那么随便遭遇点挫折,都是场灾难,也别待在舒适区,等到30多岁还是巨婴,那么一切都来不及了。我给你发信息,你隔了很久
  • 因为它真正是刚才前面讲的空乐无二的智慧,你开悟的话,那作为开悟这样的大德来讲,病和不病都没有差别,对你而言的话没有什么差别。】 开悟了这样的瑜伽修行者的话,病和
  • 设计主持人常青认为,重建不是复原,不应把大观楼做成随处可见的平庸仿古建筑,而是应“与古为新”将这座历史地标以现代方式再现出来,创造出常州特色、古韵今风的新大观楼
  • ”历朝历代对花的喜爱,催生出了高超的插花技巧,以至于宋代插花已成为生活时尚,深入到寻常百姓家,“多插瓶花供宴坐,为渠消受一春闲”。”历朝历代对花的喜爱,催生出了
  • 微信置顶签名文案: 1、有人释怀,有人在风中爱了又爱。 2、煮茶侍花是生活,过关斩将是活着。 3、食一碗人间烟火,饮几杯人生起落。 4、有趣有盼,无灾无难。
  • 《诊所基本标准》(2022年修订版)详见下文: 普通诊所 规定其诊疗范围应与注册于该诊所执业医师的执业范围相一致,不得开设口腔科、医疗美容科相关诊疗科目;
  • 这一点倒也不见得,因为续航大就代表电池体积会更大,重量也会更重,这也都将会成为电车的缺点,带给我们不好的体验。[微风]所以理想上来说,电车如果真正能做到750k
  • 没错呀,我们经常被各种各样的信息刷屏,左右了我们自己的判断力,我们认识这个世界的能力在降低。凌晨不间断的工作,途中有十分钟突然停电,朋友圈发现了这张图,原来世界
  • 有目标的人,在感恩;没目标的人,在报怨,因为觉得大家都亏欠了自己。有目标的人,在感恩;没目标的人,在报怨,因为觉得大家都亏欠了自己。
  • (没主见映射的是一一个人的不自信害帕犯错,想想生活中有谁不犯错,犯错至少比应声虫要强)7、帮忙不要主动帮助别人,主动为别人考虑,主动给别人提建议,别人并不需要,
  • 但很心疼的一点是,爆红之后的风风雨雨,让他更谨言慎行,所以他只能这样传达他的心意了不意外的,最近期的两场直播都只有声音了,以被鞭得最惨的生日直播来说,除了可能正
  • 如果你跟随末法时期大多数人的样子,结果就只是像他们一样成了欺骗专家。》在这个时代,即使是自己的父母,也不能依靠他们来指引我们如何依循佛法生活。
  •  孩子的哭声引来了乘警,在乘警的细心观察下发现,他们给孩子喝的是劣质奶粉,而两人穿着却十分时尚又干净,最终在乘警的盘问下,他们交代了真相,承认了自己人贩子的罪行
  • [打call][打call]欢迎进入我的微博小店购买 [打call]商品点评:买给爸妈的,适合送给中老年人,量也很足,三罐加钙核桃豆奶粉加三罐澳洲燕麦片,入口软
  • 3.不可饶恕推荐指数:四星半推荐理由:这部影片让人看到了成长、友谊、复仇,但更让人看到了“反英雄”“反暴力”的影子,是一部不错的影片,与很多的西部片在思考角度上
  • 王源:“我什么事都不好意思向别人张口,也不太会拒绝人,比如朋友约了我今天吃饭,我要是有事儿我也不好意思拒绝。”王源这种性格在生活上真的挺吃亏的,他不仅不会拒绝身
  • #点燃我温暖你# 我的评分:[星星][星星][星星][星星][星星]很难让人不上头啊,男女主适配度太强了,演技很自然,感情很真挚,剧情不拖沓,颜值很搭,所以一定