普通自動車からいきなり第一種大型自動車免許を取得した者です。
まず免許の取得方法ですが運転免許試験場にて受ける試験がありますが、これを受けるので有れば中型も大型も取れないと思っていいです。質問者さんのような方ですと合格率は1桁です。
なので、私もそうですが教習所にて実技免除を受けるのがおすすめです。
ここまでが大前提のような話で、ここからが本題ですが、クラッチ操作を経験したことのない方がいきなりクラッチありの大きな車に乗るのは大変かと思います。
フットブレーキも普通車とは構造そのものが異なり感覚に戸惑うかと思われます。
死角が多く、それを補助するためのミラーがたくさんあり、振り出しと呼ばれる曲がる際にお尻が膨らむ現象だったりと見る物も多くなり忙しなく感じるはずです。そのような中でクラッチまで苦難を呈していると恐ろしいのではと思います。
ただ、当然乗用車のMTも然り、皆が未知との遭遇を経ているわけで不可能とは言いません。
ですが、前述の通り車格が大きければそれだけ見なくてはいけない、気にかけなくてはいけないことが沢山ありますので難易度は当然異なると思います。ただし、いきなり大型を取るのと中型を取ってから大型を取るのとでは30万円程度若しくはそれ以上異なると思っていいです。
お金との兼ね合いもあると思いますので、大型免許がどうしてもほしいという状況なのかも踏まえて検討し、段階的に取得できるので有ればそちらが理想ではあると思います。