En 1964, Gainsbourg est toujours aussi peu connu du grand public, les ventes de ses albums sont au mieux médiocres, ses concerts n’attirent pas les foules et pour vivre de sa musique, il est obligé de composer pour les autres, en particulier les yé-yés, France Gall par exemple. Pourtant, ses deux albums précédents avaient été de magnifiques réussites artistiques. « Confidentiel » en 1963 avait été enregistré en trio. L’année suivante, Gainsbourg tente une nouvelle expérience : son nouvel album est basé sur le rythme, sous influence des musiques africaines mais aussi sud-américaines ("Sambassadeurs"). La plupart des morceaux repose sur une rythmique de percussions auxquelles se greffent la voix de Serge et des chœurs. Mais ses racines jazz swing ne sont jamais loin avec du saxo, piano et contrebasse. "Coco & co" par exemple est du swing cool, presque groovy. Le résultat est, soyons honnête, inégal, avec des merveilles comme « Couleur Café », « Pauvre Lola » (et les rires de France Gall !), « New York USA » et un morceau méconnu, « Ces petits riens », bijou « gainsbourien » par excellence, repris par exemple il y a quelques années par Stacey Kent. Mais sur d’autres, la formule ne fonctionne tout simplement pas, ou pas complétement, quand on écoute « Joanna » ou « Là-bas c’est naturel ». Un album qui a au-moins le mérite de l’originalité en 1964 et de ne pas se contenter de la facilité, même s’il se révèle assez hétéroclite voire décousu ; on pourrait dire que la mayonnaise ne prend pas toujours mais quand elle prend, qu’est-ce que c’est goûteux ! Gainsbourg a toujours été à part, n’entrant dans aucune case et malgré ses provoc’ parfois un peu gratuites dans les années 80, c’est le meilleur compliment qu’on puisse lui faire.