גדל בתורה וביראה על ברכי חכמי עירו, ובשנת תר"ג (1843) החל ללמד בתלמוד תורה המקומי. בשנת תרט"ז (1856) התמנה למנהל התלמוד תורה בעירו. הוא הקים בניין חדש לתלמוד התורה, ושינה את שיטות ההוראה ואת תכני הלימוד. הוא שילב תורה עם דרך ארץ, השכלה ולאומיות. הקפיד על דקדוק השפה העברית והרבה ללמד תנ"ך עם פרשנים. שמו כמחנך יצא לתהילה ודמותו משכה רבים מצעירי הקהילה. כאות הוקרה על פועלו שינו אנשי הקהילה את שם התלמוד תורה על שמו. השינויים שהנהיג בתחום החינוך, עוררו את התנגדותם של השמרנים בקהילה, ובשנת תרכ"א (1861) נאלץ לעזוב את קהילתו, ולעבור לבוקרשט. הוא החל לפרסם שירים ומאמרים בעיתון 'המגיד', ובהמשך עבר לפאריז.
חכם יוסף הלוי החל מתעניין ביהדות אתיופיה כאשר נפלה לידו חוברת מאת אוהב גר לוצאטו הדנה ביהדות אתיופיה. הוא החל ללמוד געז וקצת אמהרית. בעת ששהה בפריז יצא מאמר מאת הרב נתן אדלר, הרב הראשי של בריטניה, והמלומד שלמה מונק בעיתון 'המגיד' על רצונם לשלוח שליח ליהודי אתיופיה.
בשנת תרכ"ז (1867) חכם יוסף הלוי יצא בשליחות חברת 'כל ישראל חברים' לאתיופיה, ושהה שם כמה חודשים. הוא תיאר את מסעו במאמר 'מסע בחבש לגילוי הפלשים'. בצאתו מאתיופיה נלווה אליו דניאל אדרהנן, פרח כהונה צעיר, כדי לרכוש השכלה בצרפת. בשנת תרכ"ט (1869) יצא לשליחות לתימן, שם ליווה אותו כמורה דרך, מארי חיים חבשוש, מחבר הספר 'חזיון תימן'. בשנת תרל"ז (1877) יצא בשליחות 'כל ישראל חברים' לעיר מוגדור במרוקו כדי לפקח על הקמת בית ספר חדש.
בשנת תרל"ט (1879) התמנה לפרופסור בסורבון, וכפרופסור לשפה החבשית בבית הספר לשפות שמיות בעיר. הוא התמנה למנהל 'החברה האסיאתית', ושימש כמורה שימש מורה לעברית, בÉNIO - בית המדרש למורים של כל ישראל חברים (École Normale Israélite Orientale).
בשנת תרנ"א (1891) ביקר בישראל והתרשם מהישגי החינוך העברי. עודד לחדש את פעילות 'ועד הלשון העברית', שאותו הציע להקים שלושים שנים לפני כן, ולבסוף הוקם ביוזמת אליעזר בן יהודה, אחד מתלמידיו.
חכם יוסף הלוי נפטר ביום ט"ו בשבט בשנת תרע"ז (1917) ונטמן בפאריז.
הוא חיבר למעלה מ-25 ספרים ומאמרים. בין חיבוריו: 'מסע לחבש לגילוי הפלשים'; תרגום של 'סדר תפילות הפלשים' ו'ספר החינוך' - ספרי קודש מתורגמים מגעז לעברית; ו'מאמר על שמות ערי ארץ ישראל'.
