James sündis 1955. aastal Hammersmithis, Londonis, sünninimega Brian Robertson. Pärast esinemist koos tulevase The Clash’i liikme Mick Jonesiga, moodustas ta 1976. aastal The Damned'i koos laulja Dave Vaniani, bassisti Captain Sensible’i ja trummar Rat Scabies’iga.
Captain Sensible rääkis oma Facebooki postituses, et kui James bändikaaslasi otsis, kehtestas ta ühe reeglina lühikesed juuksed, mis sümboliseeris «radikaalset erinemist 70ndate keskpaiga hipivälimusest» – ja tema kitarrimäng oli nii «silmipimestav», et see veenis Sensible’it basskitarri valima.
«Järgmised paar aastat olid üsna metsik sõit, aga Briani visioon muusikalisest revolutsioonist oli täiesti täpne... ja oh, kuidas mul vedas, et ta mind valis, sest mul polnud plaani B, kui muusikaäri oleks ebaõnnestunud.»
Nad mängisid oma esimese kontserdi 1976. aasta juulis, olles soojenduseks Sex Pistolsile Londoni 100 klubis. Pistols’i manager Malcolm McLaren ajas nad järgmiselt tuurilt minema.
Pärast grupist lahkumist tegi James koostööd Iggy Popiga tema tuuribändi liikmena. The Police’i Stewart Copeland mängis tema kahel esimesel soolosinglil, «Ain’t That a Shame» 1979. aastast ja «Why? Why? Why?» 1982. aastast.
Aastal 2000 liitus James Copelandi, MC5 Wayne Krameri, Guns N’Roses’i Duff McKagani ja Blondie Clem Burke’iga, et moodustada bänd Racketeers ja välja anda album «Mad for the Racket».
2013. aastal salvestas ta oma Damned materjali ümber sooloplaadile «Damned If I Do» ja käis plaadiga tuuril koos Rat Scabiesiga. 1988. ja 2022. aastal ühinesid The Damned algkoosseisu liikmed taas Ühendkuningriigi tuuriks.