2004 के आम चुनाव से पहले संघ और विश्व हिन्दू परिषद के नेता राम मंदिर को लेकर बेसब्र होने लगे थे। दिल्ली के रामलीला मैदान में एक सभा भी हुई थी जिसमें तबके प्रधानमंत्री अटल बिहारी वाजपेयी पर खूब निशाना साधा गया था। परिवार ब्रिगेड का कहना था कि वाजपेयी मंदिर निर्माण को लेकर गंभीर नहीं हैं और बीजेपी ने सत्ता हासिल करते ही मंदिर मुद्दे को भुला दिया।