De broers Sly en zanger/gitarist Freddie Stone hadden eind 1966 hun twee bands, genaamd Sly & the Stoners en Freddie & the Stone Souls, bij elkaar gevoegd. Het resultaat was dat de twee broers bijgestaan werden door de trompettist Cynthia Robinson (1946 - 2015) en drummer Gregg Errico. De saxofonist Jerry Martini en de bassist Larry Graham completeerden de oorspronkelijke bezetting en binnen een jaar kwam ook nog Sly and Freddie's zus Rose Stone (piano) in de band. Sly Stone, Freddie Stone, Larry Graham en Rose Stone zouden alle vier de hoofdvocalen gaan verzorgen, en als achtergrondkoor fungeerde de groep Little Sister, met zijn andere zus Vet Stone, en tevens Mary McCreary en Elva Mouton. Hun debuutsingle was I Ain't Got Nobody, een grote lokale hit voor Loadstone Records. Dit trok de aandacht van het grote Epic Records, die Sly & The Family Stone contracteerde. Na het lauw ontvangen debuutalbum A Whole New Thing uit 1967 werd hun eerste hit Dance to the Music, die op het gelijknamige album uit 1968 zou komen te staan.

De eerste jaren was hun muziek meer soul- en rockgeoriënteerd, wat resulteerde in het nieuwe subgenre psychedelische soul. Tevens hadden ze een belangrijk aandeel in de toenmalige hippiecultuur en speelden ze op het beroemde Woodstockfestival in augustus 1969. Het album Stand! uit datzelfde jaar wordt als een klassieker beschouwd en was tevens een groot commercieel succes.