「JSON」の記事一覧

• 大容量JSONをPydanticで効率的に扱う方法

  2025-05-22 18:06

  IT・ネット

  大容量JSONをPydanticで読み込むと、メモリ使用量が膨大になる問題があります。この記事では、ストリーミング型のJSONパーサーijsonを使うことで、メモリ使用量を20分の1以下に抑える手法を紹介。さらに、Pydanticのdataclassとslotsを併用することで、450MBまで削減可能となります。標準のmodel_validate_jsonに比べて遅いものの、実用的な大規模データ処理が可能になるアプローチです。

• jqが苦手な人のためのCommon Lisp版JSONクエリツール

  2025-05-02 12:15

  IT・ネット

  著者は、複雑で記憶しづらいDSLを用いるjqに不満を持ち、自らCommon LispでJSONクエリツール「cljq」を開発しました。cljqは、JSONデータをLisp形式で操作可能にするシンプルなパイプラインを提供し、特にJSONPathに似た記法を導入することで柔軟性と可読性を向上させています。今後の拡張予定もあり、DSLに代わる選択肢として注目されています。