データレイク
Data Lake/でーたれいく
ひとことで言うと
加工前の生データを形式を問わずそのまま大量にためておく、大きな保管場所のことです。
📖 もうちょい詳しく
何が新しいの?
むかしのデータ管理は、表のかたちにきれいに整えてからためるのがふつうでした。でも、アクセスログ・画像・音声・センサーの値など、整えにくいデータが一気に増えました。そこで「とりあえず形を問わず、生のままぜんぶためておこう」という考え方が広まりました。これがデータレイク(生データの大きな保管場所)です。
どうやって動いてるの?
データレイクは、入れるときにかたちを決めません。テキストでも画像でも、来たものをそのまま放り込みます。整えるのは、使うときになってから、という順番です。これを「読むときに意味づけする」やり方と呼びます。先に整えてからためるデータウェアハウス(整えた集計用のデータベース。DWH)とは順番が逆です。
何ができるの?
あとから「やっぱりこのデータも使いたい」となっても、捨てずに置いてあるので取り出せます。分析やAIの学習では、まだ使い道が決まっていないデータも材料になります。とりあえず全部ためておけることが、データレイクの強みです。
🌱 身近なたとえ
大きな倉庫で例えるとイメージしやすいです。まだ分類していない荷物を、箱のまま全部とりあえず運び込んでおきます。必要になったときに、その場で開けて中身を整えて使います。先に棚にきれいに並べてからしまう「整理ずみの本棚(=データウェアハウス)」とは、置き方の順番がちがう、ということです。
✅ まず覚えるポイント
- 加工前の生データを、形式を問わずそのままためる保管場所です
- 入れるときに整えず、使うときに整える、という順番です
- 画像・音声・ログなど、表にしにくいデータも入れられます
- 先に整えてからためるDWHとは、考え方が対になっています
- 「とりあえず全部置いておける」のが大きな利点です
🧭 よくある勘違い
データレイクがあればDWHはいらないの?
役割がちがうので、両方を使い分けることが多いです。データレイクは生データを幅広くためる場所、DWHは整えた集計用データを速く返す場所です。レイクにためた生データを整えて、DWHに移す、という連携もよく見られます。
ただの大きなフォルダと何がちがうの?
入れるときは似ていますが、データレイクは大量のデータを安く保管し、あとからまとめて分析できることを前提に作られています。ただ、整理のルールを決めずに放り込み続けると、中身が分からない状態になることもあり、これは「データの沼(データスワンプ)」と呼ばれて注意されます。
🧩 関連して覚えると楽な言葉
- データウェアハウス(DWH): 整えてから集計用にためるデータベース。レイクと対の関係です
- ETL: データを抜き出し・整え・移す一連の処理のことです
- ビッグデータ: 量・種類・速さが大きいデータの総称です
- データパイプライン: データをためて流して加工する仕組みの流れです
🏁 ひとことでまとめ
整えるより先に、まず生のまま全部ためておく。それがデータレイクという保管場所です。
TERM SEARCH
ほかの用語を調べる
検索ボックスを準備中…