原文をちゃんと読みましたか。
……光る源氏、名のみことことしう、言ひ消たれたまふ咎多かなるに、いとど、~さるは、いといたく世を憚り、まめだちたまひけるほど、なよびかにをかしきことはなくて、交野少将には笑はれたまひけむかし。
~さしもあだめき目馴れたるうちつけの好き好きしさなどは好ましからぬ御本性にて、まれには、あながちに引き違へ心尽くしなることを、御心に思しとどむる癖なむ、あやにくにて、さるまじき御振る舞ひもうち混じりける。
(帚木冒頭)
……モテるからといって誰彼かまわずというのではなく、世間の目をはばかり真面目くさっているので交野少将(源氏出現以前の色男の代名詞)には笑われてしまいそう。そんじょそこらの平凡な女性には目もくれず、いわくつきの難しい恋を好むのは困ったものだ。
と言っています。安っぽい色㋖ではないのです。