প্রতিবন্ধী কর্মীর স্ত্রীর সঙ্গে সম্পর্কের অভিযোগ, জামায়াত নেতা বহিষ্কার