前言

BufferQueue 是一個用 .NET 編寫的高性能的緩沖隊列實現，支持多線程并發操作。

項目地址：https://github.com/eventhorizon-cli/BufferQueue

項目是從 mocha 項目中獨立出來的一個組件，經過修改以提供更通用的緩沖隊列功能。

目前支持的緩沖區類型為內存緩沖區，后續會考慮支持更多類型的緩沖區。

適用場景

生產者和消費者之間的速度不一致，需要并發批量處理數據的場景。

因為目前只有內存版本，不適用于不允許數據丟失的業務場景。

功能說明

支持創建多個 Topic，每個 Topic 可以有多種數據類型。每一對 Topic 和數據類型對應一個獨立的緩沖區。

支持創建多個 Consumer Group，每個 Consumer Group 的消費進度都是獨立的。支持多個 Consumer Group 并發消費同一個 Topic。

支持同一個 Consumer Group 創建多個 Consumer，以負載均衡的方式消費數據。

支持數據的批量消費，可以一次性獲取多條數據。

支持 pull 模式和 push 模式兩種消費模式。

pull 模式下和 push 模式下都支持 auto commit 和 manual commit 兩種提交方式。auto commit 模式下，消費者在收到數據后自動提交消費進度，如果消費失敗不會重試。manual commit 模式下，消費者需要手動提交消費進度，如果消費失敗只要不提交進度就可以重試。

需要注意的是，當前版本出于簡化實現的考慮，暫不支持消費者的動態擴容和縮容，需要在創建消費者時指定消費者數量。

使用示例

安裝 Nuget 包：

dotnet add package BufferQueue

項目基于 Microsoft.Extensions.DependencyInjection，使用時需要先注冊服務。

BufferQueue 支持兩種消費模式：pull 模式和 push 模式。



builder.Services.AddBufferQueue(options =>
{
    options.UseMemory(bufferOptions =>
        {
            // 每一對 Topic 和數據類型對應一個獨立的緩沖區，可以設置 partitionNumber
            bufferOptions.AddTopic<Foo>("topic-foo1", partitionNumber: 6);
            bufferOptions.AddTopic<Foo>("topic-foo2", partitionNumber: 4);
            bufferOptions.AddTopic<Bar>("topic-bar", partitionNumber: 8);
        })
        // 添加 push 模式的消費者
        // 掃描指定程序集中的標記了 BufferPushCustomerAttribute 的類，
        // 注冊為 push 模式的消費者
        .AddPushCustomers(typeof(Program).Assembly);
});


// 在 HostedService 中使用 pull模式 消費數據
builder.Services.AddHostedService<Foo1PullConsumerHostService>();

pull 模式的消費者示例：

public class Foo1PullConsumerHostService(
    IBufferQueue bufferQueue,
    ILogger<Foo1PullConsumerHostService> logger) : IHostedService
{
    private readonly CancellationTokenSource _cancellationTokenSource = new();


    public Task StartAsync(CancellationToken cancellationToken)
    {
        var token = CancellationTokenSource
            .CreateLinkedTokenSource(cancellationToken, _cancellationTokenSource.Token)
            .Token;


        var consumers = bufferQueue.CreatePullConsumers<Foo>(
            new BufferPullConsumerOptions
            {
                TopicName = "topic-foo1", GroupName = "group-foo1", AutoCommit = true, BatchSize = 100,
            }, consumerNumber: 4);


        foreach (var consumer in consumers)
        {
            _ = ConsumeAsync(consumer, token);
        }


        return Task.CompletedTask;
    }


    public Task StopAsync(CancellationToken cancellationToken)
    {
        _cancellationTokenSource.Cancel();
        return Task.CompletedTask;
    }


    private async Task ConsumeAsync(IBufferPullConsumer<Foo> consumer, CancellationToken cancellationToken)
    {
        await foreach (var buffer in consumer.ConsumeAsync(cancellationToken))
        {
            foreach (var foo in buffer)
            {
                // Process the foo
                logger.LogInformation("Foo1PullConsumerHostService.ConsumeAsync: {Foo}", foo);
            }
        }
    }
}

push 模式的消費者示例：

通過 BufferPushCustomer 特性注冊 push 模式的消費者。

push consumer 會被注冊到 DI 容器中，可以通過構造函數注入其他服務，可以通過設置 ServiceLifetime 來控制 consumer 的生命周期。

BufferPushCustomerAttribute 中的 concurrency 參數用于設置 push consumer 的消費并發數，對應 pull consumer 的 consumerNumber。



[BufferPushCustomer(
    topicName: "topic-foo2",
    groupName: "group-foo2",
    batchSize: 100,
    serviceLifetime: ServiceLifetime.Singleton,
    concurrency: 2)]
public class Foo2PushConsumer(ILogger<Foo2PushConsumer> logger) : IBufferAutoCommitPushConsumer<Foo>
{
    public Task ConsumeAsync(IEnumerable<Foo> buffer, CancellationToken cancellationToken)
    {
        foreach (var foo in buffer)
        {
            logger.LogInformation("Foo2PushConsumer.ConsumeAsync: {Foo}", foo);
        }


        return Task.CompletedTask;
    }
}

[BufferPushCustomer(
    "topic-bar",
    "group-bar",
    100,
    ServiceLifetime.Scoped,
    2)]
public class BarPushConsumer(ILogger<BarPushConsumer> logger) : IBufferManualCommitPushConsumer<Bar>
{
    public async Task ConsumeAsync(IEnumerable<Bar> buffer, IBufferConsumerCommitter committer,
        CancellationToken cancellationToken)
    {
        foreach (var bar in buffer)
        {
            logger.LogInformation("BarPushConsumer.ConsumeAsync: {Bar}", bar);
        }


        var commitTask = committer.CommitAsync();
        if (!commitTask.IsCompletedSuccessfully)
        {
            await commitTask.AsTask();
        }
    }
}

Producer 示例：

通過 IBufferQueue 獲取到指定的 Producer，然后調用 ProduceAsync 方法發送數據。

[ApiController]
[Route("/api/[controller]")]
public class TestController(IBufferQueue bufferQueue) : ControllerBase
{
    [HttpPost("foo1")]
    public async Task<IActionResult> PostFoo1([FromBody] Foo foo)
    {
        var producer = bufferQueue.GetProducer<Foo>("topic-foo1");
        await producer.ProduceAsync(foo);
        return Ok();
    }


    [HttpPost("foo2")]
    public async Task<IActionResult> PostFoo2([FromBody] Foo foo)
    {
        var producer = bufferQueue.GetProducer<Foo>("topic-foo2");
        await producer.ProduceAsync(foo);
        return Ok();
    }


    [HttpPost("bar")]
    public async Task<IActionResult> PostBar([FromBody] Bar bar)
    {
        var producer = bufferQueue.GetProducer<Bar>("topic-bar");
        await producer.ProduceAsync(bar);
        return Ok();
    }
}