11هارون الرشيد در اوايل خلافتش وقتى به سفر حج رفت و از حرم پيامبر خدا (ص) ديدار كرد ديدارى هم با موسى بن جعفر (ع) داشت. امام در حرم نبوى همراه هارون بود. هنگام زيارت قبر پيامبر (ص) ، هارون خطاب به پيامبر گفت: «سلام بر تو اى عموزاده» ، و امام گفت: «سلام بر تو اى پدر» . اين كلام امام بر هارون بسيار گران آمد و در همان مدينه كه بود، دستور بازداشت آن حضرت را صادر كرد. ¹

براى پيش‌گيرى از هر نوع شورش و بحران، وقتى امام را بازداشت كردند، شب‌هنگام، خليفه دستور داد تا دو خانه را به عنوان بازداشتگاه آماده كردند و بر هر دو مأمورانى گماشتند و امام در يكى از آن دو خانه محبوس و نگاهبانى‌اش به حسان سروى سپرده شد. ²سپس دو مركب همراه با تعدادى مأمور از شهر بيرون رفتند كه يكى به سمت كوفه و ديگرى به سمت بصره حركت كرد، تا مردم ندانند امام را به كجا بردند.

در واقع امام را به بصره بردند و به دست عيسى بن جعفر سپردند. او امام را در اتاقى زندانى كرد و در آن را قفل زد و تنها هنگام نيازهاى ضرورى درِ اتاق باز مى‌شد. امام نزديك به يك سال بدين‌گونه در بصره زندانى بود. عيسى بن جعفر كه نور چشم هارون و محبوب خليفه بود، به هارون نوشت:

من در اين مدت، اين زندانى را در اختيار و زير نظر داشتم و خلافى از او نديدم. حتى مخفيانه گوش مى‌دادم. در دعاهايش حتى نفرينى به تو يا به من هم نداشت. بهانه و دليلى براى ادامه حبس او نمى‌بينم. يا كسى را بفرست و او را از من تحويل بگير، يا آزادش خواهم كرد. ³