剥離はその部分だけですか？ それとももっと広い範囲に及びますか？ もう、かなり塗装が剥げている状態なので、まずは、スクレーパー（お好み焼きなんかのコテみたいなも）で、剥がれかけている塗料片を削ぎとって下さい。 下地の材質がなにかわかりませんが、スレートっぽく見えるのですが、適宜足付けなどを兼ねて研磨して下さい。 一般的には、#80→#120、必要に応じて、#180くらいで磨きます。 下地の材質にあったプライマー、シーラーと呼ばれる下地調整剤がありますので、これを塗布して下さい。 下地が金属でないなら、水性が作業性が良いのでお勧めです。 シーラーを塗布後に、同じような色（水性アクリルで十分です）で2回塗って下さい。 全体塗らないのなら、目地の部分でマスクして塗り分けたら、あまり気にならないと思います。 心配しなくても、同じ色には仕上がりませんから、塗った部分だけ、色が変わってわかると思います。 ぼかしたりすることもできなくはないのですが、そんなことに手間を掛けるくらいなら、その他の部分も、一緒に塗装した方がいいでしょう。 サイディングボードで継ぎ目がコーキングなら、これの点検もして下さい。 躯体内部に水が入ると一気にいたみますよ。 見た目を気にしないのなら、一本200円しない、クリーム色のシリコンコーキングを打てばいいです。 必要に応じて劣化したコーキングを取り除き、必要に応じてコーキング用のプライマーを塗布したり、バックアップ材を再充填するなどして、マスキングをした後、コーキング材を充填、ヘラなどで仕上げて下さい。 普通のシリコンを使うと、塗装ができません。 上から塗装をしたい場合は、変性シリコンを使えばいいですが、高いので、似た色の普通のシリコンを使うほうがいいです。 シリコンの削ぎ取り、狭い部分のサンディングなどには、マルチツールが便利ですよ。 ボッシュやマキタから発売されています。