頼朝は、まず、伊豆の豪族（名前は忘れた）の娘との間に子をもうけたが、平家の勘気を恐れたその豪族が子を殺した。 その後、北条政子との結婚後にも、他の女性との間に子ができたが、政子が嫉妬心からその子を暗殺してしまった。頼朝は、有力な北条氏をバックに持つ政子には逆らえなかった。 政子との間には、頼朝の跡を継いた嫡男の頼家と次男の実朝をもうけた。女子は長女の大姫と次女の何とかと言う女をもうけた。 大姫も次女も結婚前に若死にした。 ２代将軍頼家と３代将軍実朝の運命は、周知のとおり。 なお、頼家には、公暁と八幡という男子がいたが、公暁は実朝暗殺直後に北条氏に殺され、八幡もその後殺された。 他には子供はいない。 薩摩の島津氏の家祖は、頼朝の子となっているが、これは俗説といえる。 また、その前に頼朝の弟の範頼も頼朝と北条氏に殺されており、他の兄弟も死んでいるか、僧籍に入っており、源氏の直系は八幡の死により絶えた。