「分散処理」の記事一覧

• DuckDBがArrow Flightに対応「Airport」拡張登場

  2025-05-19 11:25

  IT・ネット

  DuckDBに新たな拡張機能「Airport」が追加され、Arrow Flightを利用した高性能データ通信が可能になりました。これによりDuckDBは外部APIや非対応フォーマットのデータにもアクセス可能となり、ユーザー定義関数のリモート実行や厳格なアクセス制御も実現します。拡張機能はC++で実装され、Apache ArrowとgRPCを活用し、高速な分散データ処理に対応する仕組みを提供しています。

• 失われたスモールデータの10年？

  2025-05-19 08:39

  科学・技術

  DuckDBチームは、2012年製のMacBook Proで現代のデータベンチマークを実行し、過去10年の分散処理の流行が過剰だった可能性を検証しました。結果、16GBのRAMとSSDを備えたこの旧式マシンでも、数十億行のデータを扱う複雑なSQLクエリを現実的な時間で処理可能であると確認されました。これは、単一ノードでのデータ分析が10年前から可能だったことを示唆しています。