Pallenberg sündis 1944. aastal Roomas, isa oli tal itaallane, ema sakslane. 60ndate keskpaigas viis elu ta modellitööd tehes New Yorki, kus ta jõudis omadega ka kuulsasse Andy Warholi Factorysse, nn superstaaride loomise masinasse. Seal jõudu kogunud, asus Pallenberg tähtsamale missioonile ja tutvus ansambliga The Rolling Stones.
Temast sai kõigepealt Brian Jonesi pruut – too oli sel ajal bändi juhtkuju. «Ma otsustasin Briani endale napsata, kuna ta tundus seksuaalselt neist kõige nõtkem,» on ta meenutanud. Nende armulugu võttis peagi vägivaldse vormi, nii et Pallenberg hakkas kurameerima hoopis meeldivama inimese, kitarrist Keith Richardsiga, kellega sai hiljem ka kolm last. Brian Jones leiti varsti oma basseinist uppununa, nii et temaga oli füüsilisel kujul nüüd kõik, jäi ainult legend.
Jones ja Pallenberg moodustasid maagiast huvituva duo. See tõmbas omakorda ligi avangardistliku kinomehe, maagiahuvilisest Hollywoodi kuulujuturaamatu «Hollywood Babylon» autori Kenneth Angeri, kes pidas Jonesi ja Pallenbergi nõidadeks. Hiljem ütles ta küll, et Pallenberg on rohkem «bitch kui witch». Kenneth Anger lavastas lühifilmi «Lucifer Rising», mille peaosas toimetas Mick Jagger ja millele soundtrack’i teinud Bobby Beausoleil oli üks Charles Mansoni kambast ning pandi mõrvade eest vangi.
Nii et kuri oli õhus ja see tõmbas Pallenbergi. Pallenbergi sõbranna, Mick Jaggeri pruut ja võimas laulja Marianne Faithfull ütles Pallenbergi kohta kuulsad sõnad: evil glamour. Kurjus huvitas ka ansamblit The Rolling Stones, kelle ühes paraadloos «Sympathy for The Devil» osaleb Pallenberg taustalauljana. Seda tegevust on dokumenteerinud Jean-Luc Godard filmis «Sympathy For The Devil».