その人は上司ですか？ もしそうなら、パワハラを気にする気持ちは理解できます。 要するに、その人はあなたを誘いたいが、自分は上司なので、 『この人、僕が上司だからと、本当は嫌なのに、無理矢理僕に付き合わせてしまってはいないだろうか？』 とか考えるんじゃないですか？