はっきり言って、そこはよくわかりません。 なぜわからないかというと、信頼できる資料が少ないからです。 まず、平家物語は「史実」を知るうえではかなり信用できません。あれはあくまでも「物語」であって、今でいうとドラマとかアニメとかと大して変わりません。 じゃあこの時代でどんな資料なら信用できるかというと、3つあります。 玉葉、愚管抄、吾妻鏡です。 玉葉は関白九条兼実の日記で、愚管抄は兼実の弟である慈円というお坊さんが書いた歴史書で、吾妻鏡は鎌倉幕府が書いた歴史書です。 でも、何年何月にどういう事件があったとか、どういう合戦で誰が誰を討ち取ったとかは書いてあっても、まだ流人だった時代の頼朝と北条氏とのあいだでどんな会話があったとか、頼朝が北条氏に対してどういう態度であったかとか、そんな細かいことはもちろんわかりません。 これが江戸時代くらいになると、文字を書ける人間の数が圧倒的に増えるし、「紙」というものも庶民でも普通に買えるようになります。だからものすごくたくさんの文字の記録が残ります。だからいろいろ細かいこともわかるし、大きな事件がおきたときに世間でどういう受け止め方をしたのかとかもわかります。場合によっては、何年何月の江戸のお天気がどうだったかとかもわかります。 だけど、鎌倉時代初期はそういう意味ではもうほとんど細かいことはわからないです。まして、巨大な武士団のリーダーになった後の頼朝のことならまだしも、そうなる前の誰からも大事にされずほうっておかれた（おかげで死なずに済んだ）頃の頼朝の気持ちとか、恋人の実家との関係性とか、そういうことはまったくわからないです。想像で埋めるしかないですね。