בשנת 1992 נבחר יהלום לחבר כנסת מטעם המפד"ל. הוא כיהן כיו"ר ועדת המשנה לחינוך מיוחד, והיה חבר בוועדת החינוך והתרבות, הועדה לענייני ביקורת המדינה והוועדה לנושאי הרשות השניה לטלויזיה ולרדיו.
בשנת 1996 נבחר שוב לכנסת, מונה ליו"ר ועדת החוקה, חוק ומשפט, וליו"ר ועדת המשנה לחינוך ותרבות בצה"ל. כמו כן היה חבר בוועדת החוץ והביטחון.
בפברואר 1998 מונה לשר התחבורה, תפקיד בו כיהן עד סיום כהונת ממשלת נתניהו ביולי 1999.
באוגוסט 1999, עם הצטרפות המפד"ל לממשלת ברק, מונה לסגן שר החינוך. את תפקידו סיים עם פרישת המפד"ל מהממשלה, ביולי 2000.