「ETL」の記事一覧

• DuckLakeが提供する次世代データレイク形式

  2025-05-27 13:43

  IT・ネット

  DuckLakeは、DuckDBチームが開発したシンプルかつ強力なデータレイクおよびカタログ形式で、ParquetファイルとSQLデータベースを活用してスナップショット、タイムトラベル、スキーマ進化、パーティショニングなどの機能を実現します。複数のDuckLakeクライアントがPostgreSQLやMySQL、SQLiteに接続可能で、ACIDトランザクションを保証。オブジェクトストレージも対応し、データ分析やETL作業に柔軟な選択肢を提供します。

• MotionがCockroachDBからPostgreSQLへ移行した理由と成果

  2025-05-14 21:39

  IT・ネット

  SaaS企業Motionは、スケーラビリティと高可用性を評価して採用したCockroachDBから、パフォーマンスとコスト効率を重視してPostgreSQLへ移行しました。移行に伴う課題には、マイグレーションのタイムアウトやETLの制限、サポート対応の煩雑さなどがありました。独自のETLツールを開発して移行を実現し、最終的にはリクエストのレイテンシを33%削減し、年間11万ドル以上のコスト削減にも成功しました。

• GPUで高速・低コストなビッグデータ処理を実現するParaQuery

  2025-05-12 16:01

  科学・技術

  ParaQueryは、GPUを活用したSpark + SQL処理プラットフォームで、BigQueryと比較して大幅なコスト削減と高速化を実現する。NVIDIAのRAPIDS技術を用いて、ETLやデータ解析を効率化し、特にクラウド上での大規模処理において優位性を発揮。GPUの高帯域幅メモリと並列性を活かし、既存のGCSデータも移行不要で処理可能。ビッグデータ処理の次世代基盤として注目されている。

• Bento：シンプルに運用できる高機能ストリーム処理基盤

  2025-05-08 21:30

  科学・技術

  BentoはGo製のストリーム処理ツールで、KafkaやPubSub、S3など多様な入出力をサポートし、宣言的設定により複雑なETLパイプラインを簡素化します。データの変換や並列処理、ウィンドウ処理などに対応し、信頼性の高い処理と可観測性も備えています。静的バイナリで配布され、拡張も可能で、クラウドネイティブなデータ処理に適した設計となっています。