「DuckDB」の記事一覧

• DuckLakeが提供する次世代データレイク形式

  2025-05-27 13:43

  IT・ネット

  DuckLakeは、DuckDBチームが開発したシンプルかつ強力なデータレイクおよびカタログ形式で、ParquetファイルとSQLデータベースを活用してスナップショット、タイムトラベル、スキーマ進化、パーティショニングなどの機能を実現します。複数のDuckLakeクライアントがPostgreSQLやMySQL、SQLiteに接続可能で、ACIDトランザクションを保証。オブジェクトストレージも対応し、データ分析やETL作業に柔軟な選択肢を提供します。

• DuckDBがArrow Flightに対応「Airport」拡張登場

  2025-05-19 11:25

  IT・ネット

  DuckDBに新たな拡張機能「Airport」が追加され、Arrow Flightを利用した高性能データ通信が可能になりました。これによりDuckDBは外部APIや非対応フォーマットのデータにもアクセス可能となり、ユーザー定義関数のリモート実行や厳格なアクセス制御も実現します。拡張機能はC++で実装され、Apache ArrowとgRPCを活用し、高速な分散データ処理に対応する仕組みを提供しています。

• 失われたスモールデータの10年？

  2025-05-19 08:39

  科学・技術

  DuckDBチームは、2012年製のMacBook Proで現代のデータベンチマークを実行し、過去10年の分散処理の流行が過剰だった可能性を検証しました。結果、16GBのRAMとSSDを備えたこの旧式マシンでも、数十億行のデータを扱う複雑なSQLクエリを現実的な時間で処理可能であると確認されました。これは、単一ノードでのデータ分析が10年前から可能だったことを示唆しています。

• DuckDB、地理空間処理を一般ユーザーへ普及

  2025-05-03 19:30

  IT・ネット

  DuckDBの空間拡張機能は、これまで専門知識が必要だった地理空間データ処理を一般的なデータ分析者にも開放しました。インストールや環境構築の手間を排除し、SQLベースで地理情報を扱える点が革新的です。この進展により、地理情報の利活用が各分野で加速し、Overture Mapsなど他プロジェクトへの波及効果も生まれています。クラウドネイティブ地理空間会議でも注目された技術です。

• Hacker News全投稿をDLして分析してみた

  2025-04-30 01:26

  IT・ネット

  ある開発者がHacker News全投稿（20GB超）をDuckDBで分析可能な形式でダウンロードし、言語別の出現頻度などを可視化。Goで独自APIクライアントを作成し、データはJSON形式で保存。SQLクエリを用いて「Python」や「Rust」などの言及率を移動平均で算出。最終的には、LLMで自動投稿するボット訓練への応用も構想していたが、今回は“ここまで”とのこと。分析用サイトhn.unlurker.comも公開中。