Featherデータ
データ分析・科学Featherは型付きの列データを保存する形式です。V2はArrow IPCのファイル形式を使いますが、旧V1は別の構造です。拡張子だけで版を判断せず、作成元のライブラリと保存版を確認します。新しいArrowではV1対応が非推奨のため、長期利用するデータは対応状況を確認します。
- 主な用途
- 型付き表データの保存とツール間交換
- 中身の種類
- バイナリデータ
目次・よくある質問・根拠資料を見る
内容の最終確認： · 編集：Kai
開き方・操作手順
使っている環境や目的の項目を開いて、手順を確認してください。
操作名・対応状況はアプリ・OS・版によって異なります。変更する前に原本を残してください。
開けないとき：症状から確認
- 旧環境で読めない：保存版とLZ4・ZSTD等の圧縮対応を確認します。
- 新環境でV1が使えない：原本を残し、V1を読める信頼できる環境からV2へ書き出します。
- 日時や分類列が変わる：タイムゾーンや辞書型等の往復対応を確認します。
- 旧版だけ読み込めない：Feather V1とV2の対応、読み込みライブラリーの版を確認します。
- 圧縮エラー：LZ4・ZSTD等への読込環境の対応を照合します。
- データフレーム化で型が変わる：Arrowと変換先の型・欠損表現を比較します。
Feather → Parquet / CSV / Arrow IPC
- 保存版とスキーマを確認し、元データを読めるツールから目的形式へ書き出します。
- 行・列数、型、欠損、カテゴリーや時刻を照合します。
- 旧版を残し、移行後の行数、列型と欠損値を再読込で確認します。
V1を改名してArrow IPCにできるわけではありません。CSVでは型やメタデータを別途記録する必要があります。
旧V1とV2の保存を区別
現行Arrow資料ではV1は非推奨で、将来の対応終了が案内されています。読める環境を確認し、元ファイルを残して移行します。
この手順の根拠：Apache Software Foundation · Feather File Format / Apache Software Foundation · Streaming, Serialization, and IPC
データフレームへの変換差を確認
列が表示されても型が同じとは限りません。日時、カテゴリ、null、整数の精度等を比較します。
分析に必要な件数と型情報を記録し、移行先で再読込して確認します。
この手順の根拠：Apache Software Foundation · Feather File Format / Apache Software Foundation · Streaming, Serialization, and IPC
関連形式との違い
| 形式 | 主な役割 | 確認する点 |
|---|---|---|
| Feather V1 | 旧Feather形式 | 対応リーダーの版 |
| Feather V2 | Arrow IPCファイル | 圧縮・列型 |
| Parquet | 別の列指向保存 | 型とデータセット |
取り扱いと安全性
保存版と使用ライブラリを記録し、未知のファイルのために出所不明の変換ソフトを導入しません。表中の個人情報も確認します。
よくある質問
全部Arrow IPC？
V2はIPCファイル形式ですが旧V1は異なります。
必ず圧縮されている？
版と保存オプションによります。
Python専用？
対応するR等のツールでも使えます。
旧V1をいつ移行すればよい？
読める環境を確保してコピーをV2等へ移し、件数・型・値を検証します。旧原本と環境情報を残します。
V1をV2へ改名すれば更新？
旧V1を対応リーダーで読み、V2等へ書き直します。名前の変更では構造は更新されません。
形式の基本情報：正式名称・MIME type・管理団体
- 名称
- Feather V1 / Feather V2 (Arrow IPC)
- 管理・仕様
- Apache Software Foundation
- MIME type
- 作成元・配信元の指定による。拡張子だけでMIME typeは確定できません。
公式・一次情報
- プロジェクト公式Feather File Format
Feather V2とArrow IPC、圧縮と旧形式の関係を説明します。
Apache Software Foundation · リンク確認： - プロジェクト公式Streaming, Serialization, and IPC
IPCストリーム形式とファイル形式の読み分けです。
Apache Software Foundation · リンク確認：