Toronto linnas sündinud Rakoff pärines Ida-Euroopa juudi immigrantide perekonnast, kes asusid Kanadasse. 1952. aastal kolis ta Ühendkuningriiki, pöörates selja perekonnale kuuluvale poele ja pühendades end karjäärile meelelahutustööstuses. Pärast tööd Kanada Rahvusringhäälingu (CBC) juures kirjanikuna võeti Rakoff kiiresti vastu BBC režissööride koolituskursusele ja ta asus peagi looma järjestikku edukaid telesaateid.
Rakoff tegi endale kiiresti nime. Tema 1954. aasta draama «Waiting for Gillian» võitis riikliku teleauhinna ja 1957. aastal valis ta tollal tundmatu Sean Connery peaossa Briti versiooni edukast Ameerika telelavastusest «Requiem for a Heavyweight». Aasta hiljem tegi ta oma debüüdi mängufilmide lavastajana põnevusfilmiga «Passport to Shame».
Rakoff spetsialiseerus telelavastustele ja draamadele, millest peaaegu kõik valmisid Ühendkuningriigis, mis oli saanud tema püsivaks koduks. Terence Rattigani kirjutatud «Heart to Heart» oli osa Euroopa-sisesest ülekandest «The Largest Theatre in the World» 1962. aastal, ja «Call Me Daddy», kus mängisid Donald Pleasence ja Judy Cornwell, võitis Emmy 1967. aastal.
1980. aastatel alustas Rakoff suursuguste ja staaridest kubisevate projektidega: 1973. aastal lavastatud «The Adventures of Don Quixote» peaosades olid Rex Harrison ja Frank Finlay; John Mortimeri kirjutatud «A Voyage Round My Father», peaosas Laurence Olivier, esilinastus 1982. aastal; ja Mortimeri «Paradise Postponed» esitati 11 osas 1986. aastal. 1997. aastal oli ta üks kahest režissöörist tohutul projektil «A Dance to the Music of Time», mis oli kohandatud Anthony Powelli romaanide seeria järgi.