家事代行サービスのバイトをしてみたいのですがお客さんは１人暮らしの男の人の家...

ちゃんとした会社だったら大丈夫だと思いますよ(^^)
私は以前、そういった会社で事務をしていたのですが、

・一人暮らしの男性宅は必ず２人ペアで作業
・どうしても１人しか行けない場合は、作業時に必ず不在でカギを預かっているお客様のみＯＫ（ほんとにどうしようもない時だけ）

などなど、パートさんを守るための決まりが色々ありました。
同じように心配して応募しない人が多いみたいで、私がいた会社ではパートさんを集めるのに「安全」っていうのもアピールしてました。 もちろん今の時代どんな人がいるかわからないので、管理する人はかなり気を使ってるみたいでしたよ。危ないとわかっていることをさせて何かあったら会社的にもマズイですし、上司も「うちのコ達になにかあったら大変！」みたいな感じでした。
小さな家政婦派遣所みたいなところはわかりませんが、大手の会社だったらどこでもそうだと思います。