ビッグデータの処理において疑問があるのですが、何千万におよぶデータを処理する際、メインメモリにデータが乗り切らないと思うのですが、どう処理しているのでしょう。

ベストアンサー

1

1人がナイス!しています

ThanksImg質問者からのお礼コメント

ありがとうございました。

お礼日時:5/25 23:52

その他の回答(2件)

0

「何千万におよぶデータを処理する」からといって、すべてをメインメモリに乗せる必要はない。

1

一千万件は10M件なので、1件が100バイト有ったとして1Gバイト。 32G積んでれば約3億件処理できます。 まぁそれでもメモリだけでは不足する規模はあり得るし、その場合はディスクを使うなどします。 別にデータベースを使わないと決まってないし、データベースじゃ無くてもディスクとメモリは併用できます。 もっとも、データを全件読み込まないと処理できないなんて事はほぼ有りませんが。

1人がナイス!しています