嫌がらせを受けている人を見たら

社会心理学の研究では（つまり多くの人の行動や反応を平均化すると），
おっしゃるように，他者の言動の要因を，その人の外側（他者や環境，状況等）よりも，
内面（心理，態度，性格等）に求めやすいということが知られています。
そういう一般的な傾向は基本的帰属錯誤（基本的帰属のエラー）といいます。

そういう反応，考え方をする理由は多くのことが考えられますし，
状況によってあてはまる解釈は異なりますが，
いくつかを簡単に説明するならば，次のようなものがあります。

●行為者‐観察者バイアス
２種類の説明が考えられています。
１つは，行為者（この場合はいじめられる人）は，
自分についてのことを他者が知らないことまで知っているが，
観察者は知っていることに限度がある（通りすがりの人ならばなお）ためという
情報量の差による説明。
もう１つは，行為者の注意は周囲（状況や他者）に向いているのに対し，
観察者の注意は自分自身に向いているためという，視点の違いによる説明です。

●防衛的帰属
（偶然生じたことでも）嫌なことが自分にも起こると考えるのは，不快なことであるため，
嫌なことが起きたのは偶然ではなく，嫌な目に遭った人に原因があるから嫌な目に遭ったのであり，
だから自分にはそんなことは起きないと（思考過程は無自覚に）考える，という説明です。
ただし，嫌な目にあった人が自分に似ているとこの反応は起きないようです。

●公正性の信奉
多くの人には，自分たちが生きている世界とは秩序があって，
基本的に予測やコントロールが可能なものであり，
公正で因果応報が機能している世界という信念が，多かれ少なかれ，ある。
そのため，ある人に悪いことが起こった場合は，
その人が過去に（場合によっては現世以外でも）悪いことをしたためであるとか，
人格・性格が悪いため（場合によっては病気）と考えやすい，という説明です。

他にも色々ありますが（ステレオタイプとか外集団とか），
前提条件が多くなって話が長くなるので，このくらいで…。

上に出てきたキーワードと「心理学」を組み合わせて検索すると，
信頼できるものも，あまりできないものもいろいろ出てきますね。