В песне есть отсылки к теме рабства и приему наркотиков, что не раз становилось поводом для критики. Из-за этого в 1970 году группа выпустила альтернативную версию песни, в которую были внесены изменения. Последний раз The Rolling Stones исполняли песню Brown Sugar в 2019 году в Майами.