送別会というのは，本来は一緒に仕事をした仲間から「お疲れ様でした」という気持ちを表すためのものです。
しかし，単なる習慣や義務になってとしまうと質問者様のように「無意味」と思われる方が増えてしまうのも仕方のないことですよね。
知らない方やとくに親しくない方のために，時間湯お金を費やすのは…という考えもわからなくはありません。
それでしたら，送別のためだけに義理で参加しているとは思わず，他の方々との親睦を深める機会…と，考えてみてはいかがでしょうか。
同じ職場とはいえ，なかなか皆さんが一同に会することは少ないと思いますから，今までにないご縁が見つかる…ということもあると思いますよ。
そのような付き合いは必要ないと思われる場合には，送別会を夜にではなくランチの時に設定すると言うのも一つの案です。
これでしたら，割かれる時間も短くて済みますし，費用も夜の会合に比べれば安価で済むと思います。
他にも，夜の会合はちょっと…と思われる方がいらっしゃるようでしたら相談してみるとよいと思いますよ。
私の職場でも，お子さんがいるので夜の会合は都合がつかない…という方の送別会は，ランチの時に済ませることがあります。
送別会自体を開催するか否かということは，質問者様が書かれているように「一事務員さん」だけの考えでどうこうできるものではありません。
送別会自体が無意味だと思われている場合には，今後の会は予定が合わない…と，あくまで自分の都合ということで欠席されるのでよいのではないでしょうか。
その時に幹事さんに「欠席の理由は，送別会は意味がないから」と言うような発言をすると，会自体に水をさすことになってしまいますから，気をつけた方がいいですよ。
最後になりましたが，ご自分の送別会については辞退する…というのもありだとは思います。
それは「送別会をしようと思うのだけど…」と持ちかけられたらの場合で，普段同僚の送別会にまったく出席しない方に対しては，会自体が企画されないことも考えられます。
理由は，発起人となる方がいないからです。
そのような場合は，私の職場では全員から小額のお金を集めて，花束もしくは記念品を渡す…といった形にしています。
