のび太は自分で作った会社の中で花火をして、会社を丸焼けにして 莫大な借金を抱えたようなバカですからね。 その借金のせいで、のび太の子孫は大変な迷惑をこうむっていて セワシくんはお年玉を50円しかもらえなかったようです。 なので「うちが貧乏なのも、あの出来の悪いのび太のせいで・・・」 みたいな感じで語り継がれていったのでしょう。 たぶん調べるまでもなかったと思います。 あと、これはのび太がドラえもんの元へいった後の話ですが セワシの先祖の、出来の悪さをグラフ化する道具を使ったら のび太と同等の出来の悪さの、のび平という人がいたようです。 「ドラミちゃん アララ少年山賊団」という映画での場面ですので 気になったら見てみてください。