חכם יהודה הכהן רבין נולד לאמו מרים ולאביו חכם חזקיה, בשנת תרע"ט (1919), בעיר בוכרה שבאוזבקיסטן.
ראשית תורתו למד מפי אביו, החכם חזקיה הכהן רבין, שהיה הרב הראשי ואב בית הדין בבוכרה.
בשנת תר"ץ (1930) החל במסע אל ארץ ישראל יחד עם משפחתו. כעבור 3 שנים, זכה והגיע לארץ ישראל. הוא למד מפי חכם אהרון ממן, ובשנת תרצ"ה (1935) נכנס ללמוד בישיבת 'פורת יוסף', מפי החכם יעקב עדס. בעקבות המצב הביטחוני בזמן מאורעות תרצ"ו-תרצ"ט (1936-1939) עבר ללמוד בעיר החדשה בישיבת 'שערי ציון', ישיבתו של הראשון לציון, החכם בן ציון מאיר חי עוזיאל. בישיבה למד מפי החכם עמרם אבורביע.
חכם יהודה הכהן רבין נשא לאישה את מרת דבורה לבית פחלא.
בשנת תרצ"ח (1938) ייסד אביו החכם חזקיה הכהן רבין את ישיבת ש"ם על שם הגביר שלמה מוסאיוף. חכם יהודה הכהן רבין הצטרף אל כולל האברכים בישיבת ש"ם, והוסמך לרבנות בידי החכם עובדיה הדאיה.
חכם יהודה הכהן רבין שהתגורר בשכונת הבוכרים, שימש לפרנסתו כשוחט ומוהל. הוא נהג להתפלל בבית הכנסת 'בבא תמא', דרש בציבור ומסר שיעורי תורה. בהמשך ייסד בית כנסת ובית מדרש 'עטרת חזקיה' לזכר אביו, בשכונת סנהדריה בירושלים, ועמד בראשו. הוא ייסד גם את 'איגוד בני הישיבות יוצאי בוכרה'.
בשנת תשכ"ט (1969) יצא לאור ספרו משנת רבי אליעזר בן יעקב. בשנת תשל"ח (1978) הדפיס ספר 'עונג שבת ויום טוב' - לפי מסורת יהודי בוכרה. בשנת תשמ"ט (1989) יצא לאור ספרו 'זרח כוכב מיעקב' - תולדות חכמי בוכרה. בשנת תש"ן (1990) יצא לאור ספרו 'משנת יהודה' - מאמרי תנאים. בשנת תשנ"ב (1992) הוציא לאור את ספרו של אביו 'עטרת חזקיה' - על מסכת גיטין.
חכם יהודה הכהן רבין נפטר ביום ט"ו בתשרי תשס"ב (סוף 2001), ונקבר בהר המנוחות בירושלים.