גדל בתורה וביראה על ברכי סבו, חכם משה מוצפי. כאשר כהו עיני סבו, עמד חכם יעקב מוצפי לימינו לשמשו. ראשית תורתו למד ב'מדרש תלמוד תורה' מפי חכם מנשה שהרבני יחד עם בן דודו, חכם סלמאן מוצפי, עמו למד בקביעות. בבגרותו למד בבית ב'מדרש בית זליכה' מפיהם של החכם המקובל אפרים הכהן, החכם שמעון אגסי והחכם צדקה חוצין. מושבו קבע בישיבת 'דורשי תורה', שם למד מפי החכם באשי עזרא ששון דנגור.
חכם יעקב מוצפי נשא לאישה את בתו של החכם באשי עזרא ששון דנגור. לפרנסתם, פתח חנות הלבשה, שנסגרה לאחר כמה חודשים. בשנת תר"צ (1930) אחר פטירתו של חותנו, החכם באשי עזרא ששון דנגור, חכם יעקב מוצפי, החל לשמש ראש ישיבת 'דורשי תורה'. כן, שימש ראש חברת 'תומכי תורה'. באותה שנה, ביקר בארץ ישראל, ונפגש עם חכם צדקה חוצין, ועם הסבא קדישא, החכם שלמה אליעזר אלפנדרי.
בשנת תש"א (1941), לאחר עצירת פרעות הפרהוד ביהודי בגדאד, בהם נרצחו 179 יהודים, כ2200 יהודים נפצעו, וכ-50,000 איש איבדו את רכושם. חכם יעקב מוצפי יחד עם חכמי 'מדרש זליכה' עסק בארגון הקהילה היהודית לתמיכה ביתומים, וביהודים שנותרו חסרי קורת גג.
בשנת תשי"א (1950) זכה ועלה לארץ ישראל עם משפחתו, והתיישב בירושלים. חכם צדקה חוצין מסר לידיו את הנהגת בית הכנסת 'שמש צדקה' בשכונת גאולה בירושלים, שם קבע את מקום לימודו ותפילתו. שם שימש מגיד שיעור קבוע. חכם יעקב מוצפי שימש אב בית הדין של העדה החרדית הספרדית בירושלים, אך נמנע להתפרנס מן הרבנות, וכל ימיו שימש מלמד תינוקות. הוא התנגד בחריפות להצבעה בבחירות לכנסת ישראל, ועמד בקשרים עם האדמו"ר מסאטמר, וראשי העדה החרדית. למרות זאת, בשנת תשכ"ז (1967), לאחר מלחמת ששת הימים, ושחרור העיר העתיקה נהג להתפלל בכל יום שישי לתפילת מנחה בכותל המערבי.
חכם יעקב בן עזרא מצפי נפטר ביום י"ג סיוון תשמ"ג (1983), ומנוחתו כבוד בחלקת הבבלים בהר הזיתים.
בשנת תשמ"ו (1986) יצא לאור הספר 'ארי עלה מבבל', ובו קורות חייו, הנהגותיו, ומקצת אמרותיו.
