Contents

ARST打卡第314周

Algorithm

lc1550_存在连续三个奇数的数组

思路:

直接模拟遍历计数是否有连续三个奇数

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
impl Solution {
    pub fn three_consecutive_odds(arr: Vec<i32>) -> bool {
        let mut count = 0;
        for num in arr {
            if num % 2 == 1 {
                count += 1;
            } else {
                count = 0;
            }
            if count >= 3 {
                return true;
            }
        }
        false
    }
}

Review

想要挑战现状,先找到一个“同谋者”【TED演讲】

有些传统实在是远离了现代生活,但是世俗的观念让我们很难打破,因此找到同伴,一起打破,从而改变现状。

Tips

分片singleflight.Group

Share

集成分片singleflight.Group以及思考

集成分片singleflight.Group

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
// 添加ShardedSingleFlight的实现
// 从 https://github.com/tarndt/shardedsingleflight/blob/master/shardedsf.go 修改
type ShardedGroup struct {
	numGo int
	gs    []singleflight.Group
}

// 创建一个新的ShardedGroup
func NewShardedGroup(numShards int) *ShardedGroup {
	if numShards <= 0 {
		numShards = 32 // 默认32个分片
	}
	return &ShardedGroup{
		numGo: numShards,
		gs:    make([]singleflight.Group, numShards),
	}
}

// 获取分片索引的FNV-64a哈希函数
func fnv64a(key string) uint64 {
	const (
		offset64 = 14695981039346656037
		prime64  = 1099511628211
	)
	hash := uint64(offset64)
	for i := 0; i < len(key); i++ {
		hash ^= uint64(key[i])
		hash *= prime64
	}
	return hash
}

// 获取分片索引的简单哈希函数
func (sg *ShardedGroup) getShard(key string) int {
	hash := fnv64a(key)
	return int(hash % uint64(sg.numGo))
}

// Do 执行并返回给定函数的结果,保证同一key下的函数只会执行一次
func (sg *ShardedGroup) Do(key string, fn func() (interface{}, error)) (interface{}, error, bool) {
	shard := sg.getShard(key)
	return sg.gs[shard].Do(key, fn)
}

// 将全局变量connGroup从singleflight.Group改为ShardedGroup
var connGroup = NewShardedGroup(64) // 使用64个分片

singleFlight思考

按理来说。不管是单独的singleflight还是分片版本的singleflight,都应该是多个请求的单个key对应一个singleflight吧?难道不分片版本不同的key也等同一个singleflight?

标准 singleflight.Group: 不同键的请求不会等同于同一个 singleflight 请求,每个键对应独立的 call。 但所有键共享一个全局锁,高并发下锁竞争可能让你感觉“所有键都在等同一个 singleflight”,其实是锁瓶颈导致的。

分片版本的 singleflight: 每个键映射到某个分片的 singleflight.Group,同一键的请求在分片内去重,不同键可能并行处理(如果映射到不同分片)。 分片版本通过减少锁竞争显著提升高并发性能。

性能比较: 在高并发场景下,分片版本的 singleflight(或结合连接池分片)通常优于标准 singleflight.Group,因为它将锁竞争分散到多个分片。 如果你的连接池需要处理大量并发请求(例如,数百或千个 goroutine),建议使用分片版本的 singleflight 或直接实现连接池分片。

建议 测试和监控:在你的具体场景中,使用基准测试工具(如 Go 的 testing 包或 pgbench)比较标准 singleflight.Group 和分片版本的性能。关注锁竞争(通过 pprof 分析)和连接创建延迟。 分片数量:如果使用分片版本,选择合适的分片数量(例如,2-64 个,视 CPU 核心数和并发量而定)。过多的分片可能增加内存开销,过少则无法有效分散锁竞争。 哈希函数:确保哈希函数(如 FNV-64)分布均匀,避免热点分片。 结合连接池分片:如果你的应用是多租户或分布式系统,直接实现连接池分片(按租户或数据库实例),并在每个分片内使用 singleflight 去重,可能获得最佳性能。