Kafka 3.1 добавляет поддержку OIDC

Apache Kafka, платформа распределенной потоковой передачи, которую можно использовать для создания конвейеров потоковой передачи данных между системами или приложениями в реальном времени, была обновлена. Усовершенствования включают расширение SASL/OAUTHBEARER для добавления поддержки Open ID Connect (OIDC).

Kafka изначально разрабатывалась в LinkedIn, откуда она стала проектом Apache. Это быстрая, масштабируемая, надежная и отказоустойчивая система обмена сообщениями типа «публикация-подписка», которую можно использовать вместо традиционных брокеров сообщений.

В другом месте в этом выпуске добавлена ​​поддержка бесконечных конечных точек для запросов диапазона в хранилищах Kafka Streams KV. Это расширяет семантику существующих интерфейсов диапазона и reverseRange в ReadOnlyKeyValueStore для поддержки неограниченных диапазонов. В частности, интерфейсы теперь поддерживают использование нулевых значений как способ представления неограниченных диапазонов.

В новой версии также представлены две новые метрики, предоставляемые контроллером ZooKeeper и KRaft. ActiveBrokerCount и FencedBrokerCount предоставляют количество активных брокеров в кластере, известных контроллеру, и количество изолированных брокеров, известных контроллеру.

Поддержка RocksDB была улучшена в двух областях. Во-первых, больше нет необходимости устанавливать конфигурации, связанные с WAL, для экземпляров RocksDB в Streams, поскольку Streams отключает журнал упреждающей записи (WAL), предоставляемый RocksDB, поскольку он реплицирует данные в темах журнала изменений. Во-вторых, классы RocksDBStoreTest и RocksDBKeyValueStoreTest были объединены.

Также добавлена ​​поддержка Java 17.

Кафка 3.1 уже доступна.

Веб-сайт Кафки