חכם יעקב משה טולדאנו נולד לאמו מרים-רמו ולאביו חכם יהודה טולדאנו, בשנת תרל"ט (1879), בטבריה. אביו שעלה לארץ בשנת תרכ"ב (1862) ממקנס, שבמרוקו עמד בראש ישיבה בטבריה. בצעירותו למד אצל רבי חי אליקים, ולאחר מכן המשיך בלימודו בישיבת אביו.
בשנת תרנ"ו (1896), בגיל 17, נשא לאישה את מסעודה חנה בת משה אהרון שלוש. באותה שנה גם הוסמך לרבנות, והחל ללמד בישיבת אביו.
בשנת תרע"ד (1914), החלה מלחמת העולם הראשונה, שהביאה לגירוש משפחתו, יחד עם עוד כ800 מתושבי הגליל לאי קורסיקה, על ידי הטורקים, בשל נתינותם הצרפתית. חכם יעקב משה טולדאנו, שימש כרב המקום, אך מיד בתום המלחמה חזר לעירו טבריה.
בטבריה פעל למען ארגון מחדש של הקהילה הספרדית ומוסדותיה. בהשתדלותו נוסד בעיר 'בית מקרא לעם', שבו היו מתקבלים עיתוני התקופה. מרכז תרבותי זה, נסגר מקץ שנה, בעקבות התנגדותם של קנאי העיר.
חכם יעקב משה טולדאנו פעל לגאולת המקומות הקדושים שבסביבות העיר. הוא ניסה לרתום את חברת חובבי ציון וקק"ל לגאולת שטחים ליד קבר הרמב"ם וקבר רבי עקיבא, אך לא מצא אצלם אוזן קשבת. לכן יסד את חברת 'מימוניה', אשר רכשה מהערבים, מגרש רחב ידיים, שעליו נבנתה השכונה הראשונה מחוץ לעיר.
חכם יעקב משה טולדאנו אסף וחקר כתבי יד עתיקים, בעיקר מתקופת הגאונים בספרד וצפון אפריקה. גילויו החשוב ביותר בתחום הוא כתב היד של פירוש המשניות לרמב"ם בשפה הערבית - כפי שנכתב במקורו.
בשנת תרפ"ו (1926) נענה להצעה לכהן בטנג'יר כדיין. בטנג'יר התמסר לענייני התרבות, ונטע בלב תושביה חיבה לשפה העברית, לארץ ישראל ויישובה. בטנג'יר ייסד את בית המדרש לרבנים ולמורים 'תורה וחיים'.
בשנת תרפ"ח (1928) נתמנה לאב בית דין וסגן הרב הראשי בקהיר. בשנת תרצ"ג (1933) נתמנה לתפקיד זה באלכסנדריה, ולאחר מכן כממלא מקום הרב הראשי באלכסנדריה.
בשנת תש"ב (1942) נתמנה כרב הראשי של תל אביב יפו. בתום מלחמת העולם השנייה, ובעקבות השואה, הקים בית דין מיוחד לעגונות. בשנת תשי"ט (1958) נתמנה לשר הדתות, וכיהן במשרה זו עד יום מותו.
חכם יעקב משה טולדאנו חיבר ספרים תורניים, מחקרים ותשובות בהלכה. בנוסף, עסק בהוצאה לאור של מקורות וכתיבת היסטוריה. בין חיבוריו שנדפסו: שו"ת 'ים הגדול', 'משיב הנפש', 'שריד ופליט', 'בת עמי' - על בעיית העגינות שלאחר השואה, 'טבריה וסביבותיה' - קובץ זיכרונות ומאמרים.
חכם יעקב משה טולדאנו נפטר בכ"ד תשרי תשכ"א (1960) ומנוחת כבודו בהר המנחות שבירושלים.