明確ではないですが、「損をする」という意味で「ガミる」という言葉を使うのは江戸時代から使われてました。 これは「粋（すい）が身を食う」ということわざから来ているもので、これが転じてギャンブルにおいて「取ったのにガミった」ということで「トリガミった」と使われるようになったようです。 歴史的に競艇で使われることのほうが早かったようで、それが競馬でも使われる用になったという感じのようで、1980年代くらいにはつ別れていることがあったようです。 いずれも明確なソースなどがない話ですので、諸説あるような感じみたいです。