موسوی اردبیلی عضو شورای انقلاب و مجلس خبرگان قانون اساسی بود. وی همچنین نماینده اولین دور مجلس خبرگان رهبری و دادستان کل کشور بوده است. از سال ۱۳۶۰ تا ۶۸ نیز رئیس دیوان عالی کشور بود.

این مرجع تقلید شیعه همچنین عضو شورای بازنگری قانون اساسی بود که چند ماه پیش از مرگ آیت‌الله خمینی و به دستور او برای تغییر قانون اساسی تشکیل شد.

موسوی اردبیلی یک هفته پس از پیروزی انقلاب اسلامی ایران همراه با محمد حسینی بهشتی، محمدجواد باهنر، سیدعلی خامنه‌ای و اکبرهاشمی‌ رفسنجانی حزب جمهوری اسلامی را تاسیس کردند.

در جریان اعدام‌های گروهی سال ۱۳۶۷ و پس از عملیات فروغ جاویدان (مرصاد) سازمان مجاهدین خلق ایران، موسوی اردبیلی که آن زمان رئیس دیوان عالی کشور بود در خطبه‌های نماز جمعه تهران گفت: «جمع کثیری از ایران رفته‌اند و آنجا[عراق] برای خودشان بساط و دستگاه و سازمان درست کرده‌اند. یک جمعی هم در ایران در زندان‌ها هستند... مردم علیه اینها آن چنان آتشی هستند، قوه قضاییه در فشار بسیار سخت افکار عمومی است که چرا اینها را محاکمه می‌کنید؟ اینها که محاکمه ندارند، حکمش معلوم، موضوعش هم معلوم است و جزایش نیز معلوم می‌باشد. قوه قضاییه در فشار است که اینها چرا محاکمه می‌شوند، قوه قضاییه در فشار است که چرا تمام اینها اعدام نمی‌شوند و یک دسته‌شان زندانی می‌شوند.»

این سخنرانی به عقیده بسیاری از ناظران، آماده کردن افکار عمومی برای انجام اعدام‌های دسته‌جمعی زندانیان سیاسی در سال ۶۷ بود.

موسوی اردبیلی اما پس از انتخابات ریاست جمهوری سال ۱۳۸۸، مواضعش را تغییر داد و در بیانیه‌های خود از الزام رسیدگی به حقوق تضییع شده مردم سخن گفت.

وی همچنین در نامه‌ای که یکشنبه ۱۵ اسفند ۱۳۸۹ منتشر شد، به "متزلزل شدن اعتماد مردم به نظام" در صورت "خاموش نشدن این بلیه" اشاره کرد و رفتارهای صورت گرفته "به‌نام دفاع از اسلام" را برخلاف شرع، قانون، اخلاق و کرامت انسانی دانست.

موسوی اردبیلی هم‌چنین در سال ۱۳۹۲ نسبت به تداوم حصر میرحسین موسوی، مهدی کروبی و زهرا رهنورد ابراز نگرانی کرد و استمرار حتی یک روز حصر خانگی این افراد و حبس زندانیان سیاسی را خلاف شرع دانست.