「Kafka」の記事一覧

• Bento：シンプルに運用できる高機能ストリーム処理基盤

  2025-05-08 21:30

  科学・技術

  BentoはGo製のストリーム処理ツールで、KafkaやPubSub、S3など多様な入出力をサポートし、宣言的設定により複雑なETLパイプラインを簡素化します。データの変換や並列処理、ウィンドウ処理などに対応し、信頼性の高い処理と可観測性も備えています。静的バイナリで配布され、拡張も可能で、クラウドネイティブなデータ処理に適した設計となっています。

• Rust製の高速ストリーム処理エンジン「ArkFlow」

  2025-04-29 14:38

  IT・ネット

  ArkFlowは、RustとTokioベースで構築された高性能なデータストリーム処理エンジンです。KafkaやMQTT、HTTPなど複数の入力源に対応し、SQL処理やJSON変換、Protobufのエンコード・デコードなど高度な処理が可能です。出力先も多彩で、Kafkaへの出力や標準出力、HTTP送信などに対応。設定はYAMLファイルで柔軟に管理でき、バッチ処理やエラー出力、バッファ制御機能も充実しています。拡張性が高く、リアルタイムデータ処理基盤の構築に最適なOSSです。