חכם יעקב נחמני נולד לאמו ולאביו שלמה, בעיר מרקש שבמרוקו בשנת תרל"ב (1871). בצעירותו למד תורה מחכמי מרקש בהם חכם אליעזר הלוי, חכם דוד סויסה, וחכם ניסים באייט.
בשנת תרמ"ח (1888), בהיותו בן 17, שנים נשא לאישה את מרת רינה לבית רובאס. הם שכלו שמונה ילדים בצעירותם. רק לאחר תפילות רבות, זכו והעמידו שלושה ילדים ובתוכם חכם לוי סעדיה נחמני. 
חכם יעקב נחמני התפרנס ממלאכת הצורפות, אך בה בעת לא פסק מלימוד התורה. בהגיעו לגיל חמישים עזב את מלאכתו והתמסר ללימוד התורה ולכתיבת ספריו. ענוותנו הגדולה ניכרת בספריו, בהם הוא מרבה לצטט ולהביא מדברי רבניו וחבריו, וכן פעמים רבות מביא מחידושי בנו הצעיר.
חכם יעקב נחמני נפטר ביום ט"ז סיון תשט"ו (1954) ונטמן במרקש. ביום ט"ז חשוון תשס"ה (2005) הועלו עצמותיו לארץ ישראל והוא נטמן בירושלים.
חכם יעקב נחמני כתב ספרים רבים, שחלקם יצאו לאור לאחר מותו, וחלקם עדיין בכתב יד. מבין ספריו 'מעט דבש' - פירושים על התנ"ך. 'בית יעקב' - דרשות, 'לקח יעקב' - ביאור על מסכתות ש"ס, 'טוב טעם' - על שולחן ערוך אורח חיים, 'מעיין גנים' - חיבור על פתח אליהו. ועוד.