בילדותו למד תורה מפי אביו וסבו. כבר בגיל 20 הוסמך כרב על ידי סבו, ושימש גם כמוהל וכשוחט.
בשנת תש"א (1941) נפטר סבו, ואביו של חכם עובדיה יעבץ החליפו כאב בית הדין של צעדה וסביבותיה. זמן קצר לאחר מכן נפטר גם האב. חכם עובדיה יעבץ קיבל עליו את המינוי, והפך לרבה של צעדה וסביבותיה.
בשנת 1949 (תש"ט) חכם עובדיה יעבץ ארגן את קהילתו לעלייה לארץ ישראל. הוא הגיע למחנות העולים שבעדן, ומשם עלה לארץ ישראל. חכם עובדיה יעבץ התיישב בראש העין, וכיהן שם כראש המועצה הדתית.
בשנת תשי"ט (1959) חכם עובדיה יעבץ יצא לתימן, בשליחות אנשי הסוכנות היהודית, לעודד עליית היהודים.
בשנת תש"כ (1960) התמנה חכם עובדיה יעבץ, לרבה של קריית עקרון. הוא כיהן בתפקיד זה כחמישים שנה עד ליום פטירתו. חכם עובדיה יעבץ היה ידוע בצניעותו, ביושרו ובמתינותו הרבה.
חכם עובדיה יעבץ נפטר ביום י"ב שבט תשע"א (2011) ונטמן בקרית עקרון.
חכם עובדיה יעבץ כתב את הספרים הבאים: 'אפיקי מים' - חידושים על התורה, 'שפתי ישנים' - שו"ת על הלכות שחיטה וטריפות, 'דרכי נועם' - שו"ת, 'צעדה וסביבותיה' - היסטוריה של יהודי תימן.
