Рабин родился в музыкальной семье: его отец был скрипачом Нью-Йоркского филармонического оркестра, мать — пианисткой. Рано проявив музыкальные способности, начал обучаться игре на фортепиано, в пять лет — на скрипке под руководством отца, затем у Ивана Галамяна. Дебютировал как солист в возрасте одиннадцати лет, исполнив Первый концерт Паганини с Гаванским филармоническим оркестром под управлением Артура Родзиньского.

После выступления Рабина в Карнеги-холле 29 ноября 1951 года с Нью-Йоркским филармоническим оркестром под управлением Димитриса Митропулоса ведущие музыканты и критики того времени почти единодушно назвали его одним из величайших молодых талантов современности. О грациозной манере игры, красоте его звука тепло отзывался дирижёр Джордж Селл. Рабин стал первым исполнителем скрипичных концертов Рихарда Мохаупта и Пола Крестона, но прославился своими интерпретациями романтического репертуара. До 1959 года скрипач много записывался, однако затем по неясным причинам наотрез отказался от этого, не прекращая, тем не менее, активной концертной карьеры. Рабин выступал с ведущими мировыми оркестрами по всему миру, везде имея большой успех, не уменьшившийся после его перехода из разряда «вундеркинда» в стадию взрослого, сформировавшегося артиста. В конце 1960-х у Рабина начали проявляться признаки психических заболеваний, ходили слухи, что он злоупотребляет наркотиками. Рабин погиб в результате несчастного случая, поскользнувшись и ударившись головой о стул.