一度関係を持ってしまった男性と友達に戻るのは難しいでしょうか。 長文になりま...

一度関係を持ってしまった男性と友達に戻るのは難しいでしょうか。
長文になりますが宜しくお願い致します。

以前知り合った男性で、お酒が大好きで毎晩誰かしらと飲みに行っている方がいま

す。
私もお酒が好きで、彼とは深い話や仕事の話も出来人としてすごく尊敬しているので、都合が合えば連絡をして飲みに連れて行ってもらっていました。
ちなみに彼は私より10歳以上年上なので、毎回奢って頂いていました。

何回か２人で飲んでも何もなく普通の飲み友達といった感じだったのですが、数ヶ月前に何日か続けて彼と飲んだ最終日に彼と関係を持ってしまいました。
その頃は私も彼に対して多少の恋愛感情を抱いていたので拒否はしなかったのですが、それがきっかけで彼に対する気持ちは失せてしまいました。
付き合っていない男性と関係を持ってしまったのは完全に私の責任ですので、すごく後悔して反省しました。

その後彼から何回か夜中に酔って電話があったりしましたが最近は全くありません。
少し前に飲みのお誘いを頂きましたが、私の都合が悪く断ってしまいました。

しかし、彼と飲む時間はとても楽しく真面目な話も出来る貴重な方なので、このまま疎遠にはなりたくありません。
以前の様な良き飲み友達に戻りたいです。
けれど、もう遊ばれたくはありません。

やはり一度関係を持ってしまった彼と以前の様な関係に戻るのは難しいでしょうか。

ちなみに彼とは住んでいる地域が違うので普段は全く会いませんが、私が最近出張で彼の住んでいる地域に滞在しているので、こちらに来る前にそちらに行くので都合が合えば飲んで下さいと連絡をし、彼からも了解とお返事を頂きました。
しかし、具体的な日にちのやり取りはしていないのでこのままだと流れます。

おそらく彼はとても交友関係が広いので、私から連絡をすれば自ら遊ばれにいっているようなものだとは思うのですが、彼とは恋愛感情や男女の関係なしのお友達になりたいんです。
もし飲みに行ってその様な雰囲気になった時は私の気持ちをそのままお伝えしてお断りしようと思っているのですが、今まで散々奢って頂いているのにあまりにも自分勝手でしょうか。


ご意見をお願い致します。
又、男性心理的にこの状況をどう思うのかもし宜しければ教えて下さい。