חכם יהודה ג'רמון נולד לאמו ולאביו חכם מאיר ג'רמון בשנת תקע"ב (1812) בתוניס.
גדל בתורה וביראה על ברכי חכמי העיר תוניס. בשנת תק"צ (1830) הוסמך לרבנות. בשנת תקצ"ו (1836) התמנה לדיין, ושימש דיין בבית דינו של חכם נתן בורג'יל (השני).
היה נינו של חכם נהוראי ג'רמון, מחבר הספר 'יתר הבז'. את סיפור הגעתו לתוניס כנער יתום, עד שנעשה חכם מופלג, מביא חכם יהודה ג'רמון בספרו 'מוסבות שם'.
בשנת תרכ"ח (1868) נסע לפאריס, שם התארח בבית הגביר ניסים שמאמא, שלפנים שימש קאיד היהודים בתוניס, והיה בעל הון עצום. לאחר פטירת הגביר ניסים שמאמא בשנת תרל"ג (1873) הפכה צוואתו למושא מחלוקת משפטית בינלאומית, ומחלוקת הלכתית בין חכמי ירושלים לחכמי תוניס.
בשנת תרל"ז (1877) חכם יהודה ג'רמון חיבר על-כך תשובה, והדפיסה בספר 'נחלת אבות'. בשנת תרמ"ב (1882) הדפיס הרחבה של תשובתו בספר 'נוסף על נחלת'.
בשנת תרנ"א (1891) חתם הסכמה על הספר 'פרי קודש' שחיבר שמשו, חכם צמח בן נתן הלוי.
בשנת תרנ"ו (1896) הגיע לתוניס מירושלים השד"ר, חכם אברהם חלואה. הוא התארח בביתו של חכם יהודה ג'רמון כמה שנים, וערך שם את ספרו 'מנחת אברהם'.
בשנת תרנ"ח (1898) חיבר שיר ושבחה בעברית ובתרגום לערבית לסולטאן העות'מאני עבד אלחמיד. חיבר גם את הספר 'שובה ישראל' בשפה הערבית. חכם אברהם פלאג'י מביא תשובת חכם יהודה ג'רמון בספר 'אברהם אזכור', 'שאפילו אם יביא אלף ראיות נגד מרן כי אנחנו קיבלנו הוראות מרן בכל תפוצות הגולה הספרדים'.
חכם יהודה ג'רמון נפטר ביום י' באייר שנת תרע"א (1911).