「ETL」の記事一覧
-
DuckLakeが提供する次世代データレイク形式
2025-05-27 13:43
IT・ネットDuckLakeは、DuckDBチームが開発したシンプルかつ強力なデータレイクおよびカタログ形式で、ParquetファイルとSQLデータベースを活用してスナップショット、タイムトラベル、スキーマ進化、パーティショニングなどの機能を実現します。複数のDuckLakeクライアントがPostgreSQLやMySQL、SQLiteに接続可能で、ACIDトランザクションを保証。オブジェクトストレージも対応し、データ分析やETL作業に柔軟な選択肢を提供します。
-
MotionがCockroachDBからPostgreSQLへ移行した理由と成果
2025-05-14 21:39
IT・ネットSaaS企業Motionは、スケーラビリティと高可用性を評価して採用したCockroachDBから、パフォーマンスとコスト効率を重視してPostgreSQLへ移行しました。移行に伴う課題には、マイグレーションのタイムアウトやETLの制限、サポート対応の煩雑さなどがありました。独自のETLツールを開発して移行を実現し、最終的にはリクエストのレイテンシを33%削減し、年間11万ドル以上のコスト削減にも成功しました。
-
GPUで高速・低コストなビッグデータ処理を実現するParaQuery
2025-05-12 16:01
科学・技術ParaQueryは、GPUを活用したSpark + SQL処理プラットフォームで、BigQueryと比較して大幅なコスト削減と高速化を実現する。NVIDIAのRAPIDS技術を用いて、ETLやデータ解析を効率化し、特にクラウド上での大規模処理において優位性を発揮。GPUの高帯域幅メモリと並列性を活かし、既存のGCSデータも移行不要で処理可能。ビッグデータ処理の次世代基盤として注目されている。
-
Bento:シンプルに運用できる高機能ストリーム処理基盤
2025-05-08 21:30
科学・技術BentoはGo製のストリーム処理ツールで、KafkaやPubSub、S3など多様な入出力をサポートし、宣言的設定により複雑なETLパイプラインを簡素化します。データの変換や並列処理、ウィンドウ処理などに対応し、信頼性の高い処理と可観測性も備えています。静的バイナリで配布され、拡張も可能で、クラウドネイティブなデータ処理に適した設計となっています。