百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

解决Snowflake算法时钟回拨的一种方案

csdh11 2025-03-12 13:39 17 浏览




01 算法介绍


Snowflake是Twitter开源的分布式ID生成算法,结果是一个19位的Long型的ID。其核心思想是:使用41bit作为毫秒数,10bit作为机器的ID,12bit作为毫秒内的流水号(即每个节点在每毫秒可以产生 4096 个 ID),最后还有一个符号位,永远是0。

布局如下图所示:

二进制字符串位(64位):

0101111001101110110111100011011101011110000000000000000000000000

该算法的优缺点在网上很容易找到。

优点:

1、整体呈递增趋势

2、不依赖第三方系统,稳定性更高

3、可以根据自身业务特性分配bit位

缺点:

1、严重依赖时钟


Snowflake算法使用时间戳,个人认为是由于时间戳为全局整体呈递增趋势,在防重上区别性比较大,同时方便获取。


02 方案介绍



今天我主要介绍的是一种时间回拨时的解决方案:


回到snowflake算法结构,仔细分析会发现:

1、10位的workId属于自定义

2、12位的顺序号主要是高并发

3、41位的时间戳本质为时间的差值,并非一定要求为当前时间。比如:System.currentTimeMillis(), 其实质为当前时间距离1970-01-01的时间差值的毫秒数。


实质上时间戳位置也可以是当前时间 - 基线时间(timeEpoch)计算之后的时间差值。而解决时间回拨的问题,入手点便在当前时间。虽然申明为当前时间,其实际上可以为任意一个大于基线时间的时间,只要保证随着时间推移,整体递增,且全局唯一。


比如41位的时间戳的值为:

41位的时间戳 = 当前基础时间 - 基线时间。

当前基础时间 = 当前系统时间 - 时钟回拨缓冲时间(比如1年 = 365 * 24 * 3600 * 1000L)。

上一次访问时间 = 上一次访问的基础时间。

上一次访问时间 大于 当前基础时间 ,表示系统时间已经回拨。

此时通过调整时钟回拨缓冲时间,修复当前基础时间

时钟回拨调整的幅度 = 上一次访问时间 - 发生时钟回拨之后的系统时间

当前基础时间 = 当前系统时间 -( 时间回拨缓冲时间 - 时钟回拨调整的幅度 )


修复示例图:

注意:

1、方案中的的“上一次访问时间”需要在当前节点持久化至文件或者可持久化的位置

2、可修复的差值 = 上一次访问时间 - 发生时钟回拨之后的系统时间

从图中示例可以看出,正常情况下,“时钟回拨缓存时间”为365天,如果发生时钟回拨1天,可修复的差值 = 1,“时钟回拨缓存时间”调整为364(天) = 365(天) - 1(天)


如果时间回拨缓存时间等于1年时,就表示系统运行时,时间回拨最大的时间为1年。


反馈问题:

1、我为什么自定义基线时间即时间纪元。

经过测试,我发现时间差值在2000年左右才可以保证生成的ID为整数,如果超过则会产生负数,我修改时间纪元,主要为了延长使用的时间


2、上述时钟缓存时间为什么是1年

时钟缓存时间可以自定义,1年只是我当前的使用值

代码如下:

// 获取snowflake算法计算之后的值
public synchronized long getId() {
        long timestamp = currentBaseTime();
        if (timestamp < lastTimestamp) {
            long offset = lastTimestamp - timestamp;
            //毫秒级的时间倒退,直接等待
            if (offset <= 5) {
                try {
                    wait(offset << 1);
                } catch (Exception ex) {
                    logger.error("wait={} 异常", offset);
                }
            } else {
                //超过5ms的时间倒退,则直接修复
                this.fixStepMills = offset;
            }
            timestamp = currentBaseTime();
            //此处为两次校验,提高准确性
            if (timestamp < lastTimestamp) {
                this.fixStepMills = lastTimestamp - timestamp;
                timestamp = currentBaseTime();
            }
        }
        //最后的时间戳与当前时间相等
        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) {
                sequence = random.nextInt(100);
                timestamp = tilNextTimestamp(lastTimestamp);
            }
        } else {
            sequence = random.nextInt(100);
        }
        this.lastTimestamp = timestamp;
        return (timestamp - timeEpoch) << timestampShift | workId << workIdShift | sequence;
}


//获取当前基础时间
private long currentBaseTime() {
        // baseBackupMills:时间回拨缓冲时间
        // fixStepMills:待修复的时间,即时钟回拨的时间差值
        long baseTimeEpoch = baseBackupMills - fixStepMills;
        if (baseTimeEpoch <= 0) {
            throw new IllegalArgumentException("time back to long");
        }
        LocalDateTime currentTime = getCurrentTime();
        if (Objects.isNull(currentTime)) {
            currentTime = LocalDateTime.now();
        }
        return currentTime.minusSeconds(baseTimeEpoch / 1000).atZone(ZoneId.systemDefault()).toInstant().toEpochMilli();
}

相关推荐

教学楼里那种嵌着小石子的水磨石地面,是怎么整出来的? | 有趣的制造

今天的选题是之前小可爱「花凉」在后台发消息问的~看过以后念念不忘,满脑子都是小时候在教学楼冰冷地面上摔的跤,记不起来是不是在这种地面上磕掉的门牙...昨天发了预告后,有小可爱纷纷表示「就是这种地板,像...

教学楼里那种嵌着小石子的水磨石地面,是怎么整出来的?

话说有多少小可爱不想学习时,没事数着水磨石地面的小石子玩,然后互相评比哪颗石子最好看。到头来书又没有背完,课也没好好上,就怪地板有迷幻效果,扰乱了好好学习的坚定意志。(小编觉得即使换成瓷砖,你们也可能...

性能调优实战:Spring Boot 多线程处理SQL IN语句大量值的优化方案

环境:SpringBoot3.4.0...

RMAN备份监控及优化总结(rman全备份)

今天主要介绍一下如何对RMAN备份监控及优化,这里就不讲rman备份的一些原理了,仅供参考。一、监控RMAN备份1、确定备份源与备份设备的最大速度从磁盘读的速度和磁带写的带度、备份的速度不可能超出这两...

记Oracle中快速获取表及其各个字段注释的方法

简述java开发中,用过JPA的道友应该知道,我们可以通过写java代码自动生成对应的数据表;但这有个问题是,列名的注释并没有帮我们一起添加到数据库去,尤其在一些开发测试生产三个环境隔离的,就很不友好...

Oracle 数据库日常巡检之检查数据库cpu、I/O、内存性能

记录数据库的cpu使用、IO、内存等使用情况,使用vmstat,iostat,sar,top等命令进行信息收集并检查这些信息,判断资源使用情况。1.CPU使用情况:...

Oracle案例:ORA-00600: internal error code, arguments: 「4187」

本案例客户来自某省电信,alert日志大量的ORA-00600[4187]报错,已经影响到业务正常运行。...

MySQL索引失效的10大陷阱:从隐式类型转换到索引选择性全面优化

索引是MySQL性能优化的核心武器,但错误的使用场景可能让索引完全失效,导致查询性能断崖式下降。本文通过实际案例,深入剖析索引失效的典型场景及其底层原理,并提供可落地的解决方案。一、索引失效的核心原...

oracle查询语句执行计划分析(oracle如何查看sql执行计划)

1命令行开启配置#显示查询结果setautotraceon#不显示查询结果setautotracetraceonly2执行查询语句...

面试官:说说Oracle数据库result cache的原理是什么?

概述前面已经用实验给大家介绍了ResultCache相关内容,今天主要讨论一下Oracle11gResultCache的深层原理。从参数看,Oracle提供了ClientResultCac...

Oracle817 export 时ORA-06553和ORA-00904处理

现象:数据库版本8.1.7...

Oracle案例:一次gc buffer busy acquire诊断

本案例来自某客户两节点rac的一次生产故障,现象是大面积的gcbufferbusyacquire导致业务瘫痪。...

说文解字:“雪”字本身在造字时就很浪漫!

这是雪山的“雪”字。可是你知道吗?“雪”这个字其实和“山”是没有任何关系的。这个字下半部分“彐”并不是一座翻倒的山,而是一只手的意思。(凡是带“彐”的汉字,其实都和手有关。)“雪”字的商代甲骨文形状,...

应用最广的两类数据库的区别、优势对比、查询优化方法及案例实践

 1、通用数据库分类  1.1关系型数据库  关系型数据库是多个二维数据表的集合,数据以二维数据表的形式进行存储,数据表之间可以通过应用程序或者数据的主、外键建立特定的关联关系,让数据之间存在特定的...

【SQL】SQL 语法差异大全(PgSQL/MySQL/Oracle/TiDB/OceanBase)

以下是针对不同数据库系统的SQL语法差异总结,按功能分类展示:一、基础查询1.分页查询...