「データ分析」の記事一覧

• 米国の輸出における「血液製品」の実態を精査する

  2025-05-07 09:41

  経済

  「血液製品が米国の輸出の2％を占める」との報道をきっかけに、著者が貿易統計を精査し、その正確な割合を独自に算出。実際には、確実に血液由来とされる製品は輸出全体の約0.53％、推定も含めると約0.69％程度にとどまると結論づけています。分析は関税コードごとの輸出額をもとに構成され、ワクチンや免疫製品、細胞治療製品などの血液使用の割合も推定。数字の裏にある実態を明らかにする労作となっています。

• TextQuery：ローカルでデータを簡単に分析・可視化

  2025-05-05 16:59

  IT・ネット

  TextQueryは、CSVやJSONなどのデータファイルをSQLで操作し、可視化できるデスクトップアプリ。コード不要でデータのインポート、編集、クエリ、チャート作成が可能。完全ローカルで動作し、プライバシーとセキュリティを重視している。

• DuckDB、地理空間処理を一般ユーザーへ普及

  2025-05-03 19:30

  IT・ネット

  DuckDBの空間拡張機能は、これまで専門知識が必要だった地理空間データ処理を一般的なデータ分析者にも開放しました。インストールや環境構築の手間を排除し、SQLベースで地理情報を扱える点が革新的です。この進展により、地理情報の利活用が各分野で加速し、Overture Mapsなど他プロジェクトへの波及効果も生まれています。クラウドネイティブ地理空間会議でも注目された技術です。

• Hacker News全投稿をDLして分析してみた

  2025-04-30 01:26

  IT・ネット

  ある開発者がHacker News全投稿（20GB超）をDuckDBで分析可能な形式でダウンロードし、言語別の出現頻度などを可視化。Goで独自APIクライアントを作成し、データはJSON形式で保存。SQLクエリを用いて「Python」や「Rust」などの言及率を移動平均で算出。最終的には、LLMで自動投稿するボット訓練への応用も構想していたが、今回は“ここまで”とのこと。分析用サイトhn.unlurker.comも公開中。

• Rust製の高速ストリーム処理エンジン「ArkFlow」

  2025-04-29 14:38

  IT・ネット

  ArkFlowは、RustとTokioベースで構築された高性能なデータストリーム処理エンジンです。KafkaやMQTT、HTTPなど複数の入力源に対応し、SQL処理やJSON変換、Protobufのエンコード・デコードなど高度な処理が可能です。出力先も多彩で、Kafkaへの出力や標準出力、HTTP送信などに対応。設定はYAMLファイルで柔軟に管理でき、バッチ処理やエラー出力、バッファ制御機能も充実しています。拡張性が高く、リアルタイムデータ処理基盤の構築に最適なOSSです。