男の2/5は文科系なので、男の3/5は体育系のみ。
文科系のうち1/4は体育会系にも入っているので、
男の2/5*1/4=1/10は両方
男の2/5*3/4=3/10は文科系のみ。
女の1/2は体育系のみ
女の1/4は両方なので、残りの1/4は文科系のみ
まとめると
男の全体をx人、女の全体をy人、として
男文科系のみ:a=3x/10
男体育系のみ:b=3x/5
男両方:c=x/10
女文科系のみ:d=y/4
女体育系のみ:e=y/2
女両方:f=y/4
文科系だけの男女比は9:8なので、
a:d=9:8
3x/10:y/4=9:8
24x/10=9y/4
8x/5=3y/2
16x=15y
16x-15y=0
両方所属は男女合わせて55人なので
x/10+y/4=55
2x+5y=1100
連立方程式を解いて
(x,y)=(150,160)
全部で、x+y=150+160=310人