相手の保険屋さんは、相手の代理人ですから無理強いしてくるのはあり得ます。質問者様の保険会社はどうしているんですか？保険会社同士で話せばプロ対プロですから過去の判例に基づいて判断する事になります。また、弁護士特約が付いているならば、債務不存在（質問者様の過失がゼロで、相手に賠償金を支払う必要は無い。）の裁判をするというのも視野に入れて主張するのが良いかと思います。