חכם יעקב הרופא נולד לאימו ולאביו חכם יוסף הרופא בשנת תק"מ (1780) בפרס.
בילדותו הגיע עם אביו לעיר בגדאד ולמד שם מפי חכם נסים צאלח מצליח, חכם משה חיים וחכם ראובן דוד נאווי. גדל בתורה וביראה ובשנת תקפ"ז (1827) נתמנה לדיין, היה לפוסק בעירו בגדאד, ונתמנה לאב בית הדין. שמו הטוב יצא למרחוק, שהיה שוקד בתורה, עושה צדקה וחסד, בעל ענווה ורודף שלום. העמיד תלמידים הרבה, ובראשם חכם עבדאללה סומך, שישב עימו בבית הדין יחד עם חכם אליהו עובדיה. נודע כפייטן ובעל קול ערב, ושימש כעשירם שנה שליח ציבור בבית הכנסת החדש.
בנו, חכם יוסף הרופא נמנה על חכמי בגדאד, ובנו חכם מאיר הרופא, שימש שוחט בכלכותה. בתו לאה נישאה לראובן מנשה זביידה, וביתו אסתר נישאה לחכם משה חיים שלמה דוד שמאש. ורבה הראשי של בגדאד.
שלושה מחיבוריו של חכם יעקב הרופא יצאו לאור בחייו: 'שיר חדש' - פירוש על שיר השירים, יצא לאור בשנת תר"ג (1843) בכלכותה, 'נאוה תהילה'- דרושים על ספר תהילים, יצא לאור בשנת תר"ה (1845) בירושלים, 'שמן הטוב' - שיטה של מסכת ביצה, יצא לאור בשנת תר"ט (1849) בקושטא.
בשנת תרי"א (1851) פרצה מגפת חולירע בעיר בגדאד, ורבים מתושביה קבעו מגוריהם באהלים ארעיים במרחב הפתוח מחוץ לעיר. גם חכם יעקב הרופא יצא עמהם, אך נתפס במחלה, ונפטר ביום ו' בתשרי תרי"ב (1851). בשל המגיפה לא יכלו לקוברו בבית העלמין בעיר בגדאד, והוא נטמן בחצר קברו של יהושע כהן גדול.
לאחר מותו יצאו לאור מכתב ידו הספרים: 'חלק יעקב' - דרושים על התורה, 'אהל יעקב' - שו"ת וחידושים על השולחן ערוך ומנהגי בגדאד, שיצא לאור בשנת תשמ"א (1981) בירושלים.