در کتاب خاطرات مصطفی حائری‌زاده از اعضای شورای مرکزی حزب جمهوری اسلامی که از سوی مرکز اسناد انقلاب اسلامی منتشر شده، آمده است: «آقای خلخالی یکی از اطرافیان امام بود که اغلب در بیت ایشان حضور داشت. روزی ایشان دم در، یکی از مراجعه‌کنندگان را از دیدار امام محروم کرده و گفته بود آقا الان وقت ندارد، باید وقت می‌گرفتید یا چیزی در این زمینه. آن روز ما به اتفاق مرحوم عراقی و چند نفر دیگر از دوستان در حضور امام بودیم. وقتی امام متوجه مکالمه آقای خلخالی با مراجعه‌کننده‌اش شد، با لحنی عتاب آمیز صدا زد: «خلخالی! خلخالی! بیا اینجا ببینم.» آقای خلخالی گفت: «بله آقا!» جلو آمد و در مقابل امام ایستاد. امام فرمود: «بگو ببینم نکند اینجا دربار شده و تو هم وزیر دربار هستی؟» آقای خلخالی پرسید: «چه شده آقا؟» و امام دوباره تکرار کرد: «نه، می‌پرسم اینجا دربار شده؟ تو وزیر دربار من شدی؟ چرا به کسی که می‌خواست وارد شود گفتی وقت ندارد یا وقت گرفتی؟» سپس با ناراحتی بیشتر فرمود: «اصلا تو اینجا چه کاره‌ای؟ برو بیرون نمی‌خواهم اینجا باشی.»