יהורם גאון החל את שירותו הצבאי בלהקת הנח"ל.
לאחר סיום שירותו בצבא, החל גאון לעשות מילואים. במהלך שירות המילאוים שלו היה גאון שהיה כבר אז אחד מן הזמרים הגדולים בארץ, להסתובב בין מחנות חיילים ולשיר בפניהם. גאון היה עורך למעלה מ-10 הופעות ביום בין בסיסי צה"ל, בעיקר במהלך מלחמות היה נוהג לערוך סבבים בין מחנות החיילים ולהופיע בפניהם כחלק משירות המילואים שלו.
במהלך מלחמה יום כיפור, ערך גאון את מופעיו לצד המלחין דובי זלצר,. גאוון אמר על הופעותיו כי " הופענו בפני חיילים המומים והלומי קרב. העלינו חיוך קפוא על פנים מפויחות, והם עשו אותנו מאושרים, נתנו לנו תחושה שאנחנו חלק, וכן, שאנחנו ראויים".
בחלק מן הקריירה שלו הוציא גאון מספר שירי מלחמה, "המלחמה האחרונה"אשר נכתב תחת אש המלחמה בה שהו דובי זלצר וגאון, בסיני, "בנימין", "לא תדע מלחמה", "בני עשרים", "בלדה לחובש", "ארץ צבי", "דדו" ועוד.
גם כיום ממשיך גאון לפרסם מדי פעם שירים הקשורים לצבא, דוגמאת, הגרסאה החודשת לשיר "ארץ צבי" אשר יצא בשנת 2014 וכוללת בתוכה בית מיוחד לזכרו של החייל רועי קליין.