גדל עם משפחתו בעיר תוניס ולמד בבית הספר הצרפתי. בשנת תרפ"ח (1928), בהשתדלות דודו, חכם מעתוק עתוגי הכהן, מחבר הספר 'יקר ערך', עבר המשפחה לג'רבה, שם למד בישיבת חכם דידו הכהן, מחבר הספר 'עת דודים', ובבית הכנסת 'רבי חזקיה פרץ' מפי חכם יוסף וזיפה הכהן. בימי שישי בצהרים, היה לומד גמרא אצל דודו, חכם מעתוק עתוגי הכהן, שהיה בוחנו, ועוקב אחר התקדמותו בלימוד התורה.
חכם יעקב הכהן נשא לאשה את מרים, בת למשפחה כוהנים מיוחסת, ונולדו להם שמונה בנים וחמש בנות.
חכם יעקב הכהן היה פעיל בתנועה הציונית, ובשנת תש"ח (1948) עמדה משפחתם לעלות לארץ ישראל, אך בדרכם נגנב מהם רכושם יחד עם דרכוניהם ושאר מסמכיהם. לכן רק בשנת תש"ט (1949), לאחר טלטלות רבות, זכה ועלה לארץ ישראל, והתיישב בכפר שלם. הוא הביא עימו ארגז גדוש בכתבי יד ובחידושי תורה שחיבר, אך הכתבים אבדו, ואין יודע היכן הם. בארץ, חכם יעקב הכהן למד בבית המדרש רשב"י, בשכונת 'התקווה' יחד עם חכם שלום מזרחי, והיה חזן ומוסר שיעורים בית הכנסת 'אלגריבה' בכפר שלם. פרנסתו מצא בחנות שפתח.
בשנת תשי"ד (1954) עבר לגור בחולון, והמשיך ללמוד בשכונת התקווה, ובשבתות היה לומד גמרא, בית הכנסת 'ארם נהריים' בחולון, יחד עם חכם מעתוק חי בדרה, תלמידו של המקובל חכם יהודה פתייה.
חכם יעקב הכהן נפטר בקיצור שנים ביום י"ח בחשון תשכ"ז (1966).
לאחר פטירתו יצאו לאור, משארית כתביו, שני חלקי הספר 'יעקב איש וביתו', בשנים תשס"ב-תשס"ג (2002-2003), בעריכת הספר חכם ישראל הכהן, וחכם יוסף כהן, בהשתדלות בניו ובנותיו.
