חכם יוסף בן הרוש נולד לאימו אסתר שטרית ולאביו חכם יחיא בכפר פרקלא, במחוז תאפילאלת במרוקו.
תורתו למד מפי אביו, חכם יחיא בן הרוש, שהיה דיין ומורה צדק בכפר פרקלא, ודודיו חכם שלמה בן הרוש, וחכם משה בן הרוש, תלמידי חכם מימון אדהאן.
חכם יוסף בן הרוש נשא לאשה את מרת מרים ונולדו להם שלושה ילדים אליהו, רפאל ושרה לאחר מכן נשא לאישה שניה את חנה, ונולדו להם שבעה ילדים: יחיא, שלמה, יעקב, כליפה, שמעון, אסתר והנרייט (חסיבה).
בשנת תר"פ (1920) החל מרד של השבטים הברברים כנגד הפרוטקטורט הצרפתי, וכנגד הסולטאן של מרוקו. מולאי בן קסאם, מנהיג המורדים באזור תאפילאלת, זיהה את היהודים כתומכים בצרפתים, והחל בשורה של התנכלויות כנגד היהודים. בכפר ריסאני, כפרם של משפחת אבוחצירא הוצא להורג, בכיר האחים, חכם דוד אבוחצירא, ורבים מיהודי האזור ברחו ממנה לעיר קולומב-בשר, בשליטת הצרפתים.
התנכלויות ליהודי האזור נמשכו, והגיעו גם לכפר פרקלא. ביום י"ג באייר תרפ"א (1921) נלקח חכם יוסף בן הרוש להוצאה להורג בשריפה. רק תחנוני יהודי העיר, והצעה לפדותו בכסף רב, הוציאו מעם מתקן השריפה.
בשנת תרפ"ז (1927) הוציא לאור שני ספרים בעיר סוסה בתוניס: 'גביע יוסף' ובו י"ג דרושים, כמניין י"ג מידות רחמים, ומניין היום בו ניצל מהוצאתו להורג, ומניין ראשי תיבות שם ספרו: 'גביע יוסף'. לספרו זה הוסיף גם פיוטים שחיברו, ובתוכם פיוט לחכם אהרון אסולין, בעל הנס, מחכמי כפרו פרקלא, שזכותו עמדה לשוכני בית החיים היהודי בכפר, שהבא לנתץ מצבות קברות היהודים קפא במקומו. ספרו השני הוא 'אהל יוסף' חלק א' - פרשנות על התורה, יצא לאור בהסכמת גדולי חכמי מרוקו, ובתמיכה של נדיבים רבים בתכם הבבא סאלי - חכם ישראל אבוחצירא, הבבא חאקי - חכם יצחק אבוחצירא, וחכם מכלוף אבוחצירא.
חכם יוסף בן הרוש הלך לבית עולמו בגיל 71 ביום כ"ד אייר תש"ז ונקבר בפוליוטי (היום קינטרה) הקרובה לעיר רבאט במרוקו.