213حمايل مخصوص ميرپنجى مفتخر گرديد؛ در حالى كه در دستگاه دولتى جايى نداشت .
در 1268 ق عده‌اى از پيروان فرقه بابيه، به جان ناصرالدين شاه سوء قصد كردند، اما بدخواهان عباس‌ميرزا، برادر او را به ترور شاه متهم كردند. شاه نيز او را به بغداد تبعيد كرد و چون فرهادميرزا هم از اين اتهام مصون نبود، در همان روزگار مورد بى‌مهرى شاه قرار گرفت و به طالقان قزوين تبعيد شد و تا سال 1271 ق در آن‌جا بود و چون روزگار تبعيد به وى سخت مى‌گذشت، از شاه خواست اجازه دهد تا او به تهران بيايد و در اين شهر اقامت گزيند، اما ناصرالدين شاه با اين تقاضا موافقت نكرد. برخى گفته‌اند اين وضع به سبب بدگويى‌هاى‌ميرزا آقاخان نورى، صدر اعظم وقت بوده و فرهادميرزا در نامه‌اى كه خطاب به امام جمعه تهران نگاشت، اين تهمت‌ها را ردّ كرده است. 1
يك بار شايعه كرده بودند كه فرهادميرزا در سايه حمايت دولت انگليس قرار دارد؛ چون وقتى سفير انگلستان از ايران مى‌رفت، نام اشخاصى را كه چنين وضعى داشتند، فهرست كرده و براى «كنت دوگوبينو» نماينده دولت فرانسه در ايران فرستاد و تأكيد كرد كه اين افراد در حمايت دولت بريتانيا هستند و بعد از مسافرت من، رعايت حالشان بر دولت فرانسه لازم است. وقتى فرهادميرزا نام خود را در اين فهرست ديد، به سفارت فرانسه اعلام كرد: «من پناهنده هيچ دولتى نيستم؛ بلكه يكى از خدمت‌گزاران مردم ايران هستم و اگر هم بخواهند مرا بر اساس حكمى گردن بزنند، گردن نهاده‌ام و در پى چاره‌جويى به دولت بيگانه روى نمى‌آورم.» نماينده دولت فرانسه نيز ناچار نامش را از ميان آن اسامى محو كرد. 2
ميرزا آقاخان نورى در نامه‌اى كه به فرخ‌خان امين‌الدوله نوشته، در اين باره مى‌نويسد:
نواب فرهادميرزا نامه‌اى به كارگزار فرانسه داده و در آن يادآور شده است كه من در حمايت انگلستان و هيچ دولت ديگرى نمى‌باشم و تسليم اوامر دولت ايران بوده و هر حكمى برايم جارى سازند، مطيع و منقاد خواهم بود. 3
در هر حال، فرهادميرزا به دليل توانايى‌هاى فكرى و لياقت‌هايى كه در تدبير امور داشت، پيوسته زير فشار شاهزادگان، صدراعظم‌ها و برخى واليان فاسد دولت قاجاريه بود و بدين‌گونه، يك حكمران باكفايت كه مى‌توانست براى گسترش امنيت و رفاه در ايران تلاش كند و از فشارهاى سياسى و اجتماعى بر شيعيان ايران بكاهد، با آن‌كه از طايفه قاجار بود و با تشكيلات حكومتى بسيار نزديك، مطرود حكومت قاجاريه گرديد و چند سالى از زندگى خود را به حالت تبعيد سپرى كرد. 4