ראשית תורתו למד מפי אביו חכם ברוך הכהן הגדול, המכונה רבי ברוך לכביר. גדל בתורה וביראה, בנגלה ובנסתר, והיה לתלמיד חכם ומקובל, איש חסד ומלומד בניסים. יש אומרים שהיה שליח דרבנן מישיבת 'בית אל' בירושלים, שהגיע להרי האטלס, ויש אומרים, שתמידים כסדרם, היתה לו קפיצת הדרך, לעיר הקודש ירושלים, ללמוד בחברת מקובלי ישיבת 'בית אל'. הוא סבב בין כפרי האזור: אימין תגא, אוולאד ברחיל, תינזרת, והאג'זו נבאהמו. רבים מיהודי האזור, שהיו מגיעים אליו לקבל עצה וברכה, היו תורמים נדריהם ונדבותיהם לקופתו של החכם המקובל דוד בן ברוך הכהן אזוג, אך הוא נהג שלא להשאיר פרוטה בקופה, והיה מחלק את כל נדבות הציבור, מבעוד יום, לעניים.
החכם המקובל דוד בן ברוך אזוג הכהן נשא לאישה בזיווג שני את אחותו של חכם כליפא בן מלכא, מחבר הספר 'כף נקי'. הוא הניח אחריו שני בנים: חכם ימין הכהן אזוג וחכם דוד הכהן אזוג, ובת אחת: מרת עאליה.
החכם המקובל דוד בן ברוך אזוג הכהן היה דורש ברבים, ועורר את הציבור לתשובה. משנת ת"ק (1740) ועד שנת תק"ז (1747) תיעד בכתב ידו, דרשות שנשא בציבור. גיליונות אלו נשמרו מדור לדור, ויצאו לאור לבסוף בהוצאת 'מלכי רבנן' בשנת תשנ"ח (1998). חיבורים נוספים בנושאי קבלה שמורים בידי משפחתו. כתב יד נוסף בשם 'חיי עולם' צפון בספריה הלאומית בירושלים, ומיוחס לחכם המקובל דוד בן ברוך הכהן אזוג
החכם המקובל דוד בן ברוך הכהן אזוג נפטר ביום ג' בטבת תקמ"ה (1784). ציונו משמש מקום עלייה לרגל.
