山椒の木で隣り近所に迷惑になるとは、あまり聞きません。 敷地内で有れば何を植えても良いと思います。 落ち葉の事をご心配なら、小さい葉ですし、ある程度色付き始めたら落ちる寸前くらいに刈り込んでしまえば問題ないと思います。 アゲハ蝶の幼虫がよく付きます。北側の敷地の隅に一本、虫専用みたいな木がありますが、この木には花が咲き実が成るんですが、取った事が無いです。 虫さえ付かなかったら山椒の実を利用した佃煮なんぞを…と思いますが。