दिग्विजय सिंह का घटा कद, कांग्रेस ने प्रभारी पद से हटाया