גדל בתורה וביראה במשפחת תלמידי חכמים. הוא נינו של חכם שאול הכהן, מחבר הספר 'לחם הביכורים'. אחיהם של חכם מרדכי כמוס אמייס הכהן, הרב הראשי לתוניסיה ושל חכם יוסף הכהן, רב העיר ספקס.
חכם יעקב הכהן נשא לאשה את מרת ג'זילה בת מסעוד הכהן.
חכם יעקב הכהן שקד על התורה בכל עת מצוא, ביום ובלילה. לפרנסתו עסק, כאביו, במלאכת הצורפות, ונהנה מיגיע כפיו. בביתו הקים ישיבה, והיו בה ספרים רבים. מידי שבת וחג העביר בקביעות שיעור מאחר חצות הלילה ועד הבוקר, וזיכה את הרבים בדרשות ובתוכחות, ובלימוד הזוהר הקדוש והמדרשים. את חידושיו נהג לרשום, וכשהזקין העביר חלק מכתביו לחכם מקיקץ השלי, שערך והגיה את הכתבים.
בשנת תרצ"ה (1934) נפטרה אשתו, וכעבור תשעה חודשים, שכל את בנו כדיר.
חכם יעקב הכהן נפטר ביום ה' בשבט תשי"ט (1959).
חידושיו על התורה ומערכות על סדר האלף בית יצאו לאור, אחר פטירתו, בידי בניו, בספר 'בכור יעקב', בירושלים, בשנת תשל"ד (1974) בהגהת חכם אשר חדאד. חידושיו על הנ"ך ודרושים עמודים עדיין בכתב יד.
