כהן נבחר לכנסת ב-1984 מטעם רצ, ובאותה שנה דרש שתוקם ועדת חקירה למלחמת לבנון. כהן חבר כנסת מטעם מרצ מהכנסת ה-12. בכנסת 14 כיהן יו"ר הוועדה לעינייני ביקורת המדינה.
ב-1992 מונה לסגן שר השיכון בממשלת רבין. הוא התפטר מתפקידו לאחר חצי שנה וכיהן כיו"ר סיעת מרצ בכנסת.
ביולי 1999 מונה לשר התעשיה והמסחר בממשלת ברק. ביוני 2000 התפטרו שרי מרצ מהממשלה על רקע משבר קואליציוני עם מפלגת ש"ס.
בין החוקים שיזם, חוק שכר מינימום (86'), חוק הדיור הציבורי (98') והחוק לאיסור הקמת אנדרטאות לזכר רוצחים.