هارون الرشید، خلیفه عبّاسی، با این که قدرتمندترین خلیفه عباسی بود از این که می دید مردم احترام فراوانی به امام کاظم علیه السلام می کنند به شدت ناراحت بود و تمام تلاشش این بود که نفوذ معنوی امام علیه السلام را خنثی کند. او از این که می شنید مردم حقوق و مالیت های اسلامی را مخفیانه به موسی بن جعفر علیه السلام می پردازند و با این عمل خود در واقع حاکمیت ایشان را به رسمیّت شناخته، از حکومت عبّاسی بیزاری می جویند، سخت رنج می برد. روی همین اصل بود که روزی هارون امام علیه السلام را کنار کعبه دید و به ایشان گفت: «تو همان هستی که مردم پنهانی با تو بیعت کرده تو را به پیشوایی بر گزیده اند؟ امام فرمودند: «اَنَا اِمامُ القُلُوبِ و اَنْتَ اِمامُ الجُسُوم؛ من بر دل های مردم حکومت می کنم و تو بر تن ها».