かまいません。 どういう理由があろうと面接をする側は面接をする時間を取っています。 面接を受ける側は、そのための時間を割いて伺います。 どっちも同等なわけです。 なのに、遅れることを言わない、謝罪をしないというのは、礼儀としてはおかしいです。 それがないってことは、あなたはもう面接で落としましたよ。と言ってるも同じ。だから、断ってもいいですよ。 理由はそのまま言わなくてもいいですが、もし、言うなら面接で受けた印象が悪いので辞退しますとはっきり言ってもいいですよ。