ビッグデータの処理において疑問があるのですが、何千万におよぶデータを処理する際、メインメモリにデータが乗り切らないと思うのですが、どう処理しているのでしょう。 デーベースとしてならストレージに載せておけばいいので、メインメモリとは関係ないですが、AI処理するなら、メモリに依存するんじゃないかと思うのです。 スパースモデリングの際に使われる座標降下法のようなものだったら、メモリに全部載せなくてもよいと思いますが、それに近い感じなんでしょうか。