①何を目的にいくか？ ②どこが主催か？ などを総合的に勘案して判断をすればいいです。 「よくわからないコンサルがやっている起業セミナー」に「勉強目的で行く」ならスウェットでも何でもいいです。 一方、セミナーに参加する目的に人脈構築（起業仲間が欲しいとか講師と人脈を作りたい）などがあるのであればだらしのなさそうな人だ。と思われるよりも好印象を抱かれそうな服装のほうが有利であるも事実です。 そういったことをご自分で判断して服装を選ばれればよろしいかと思います。