במרץ 1984 שב לפוליטיקה בראשות מפלגה חדשה שהקים, "יחד", שזכתה בשלושה מנדטים (יחד עימו נכנסו לכנסת בנימין בן-אליעזר ושלמה עמר). ויצמן מונה לשר הממונה על המגזר הערבי. באוקטובר 1986 הצטרפה "יחד" למפלגת העבודה.