Pour l'Académie, le pluriel de café-chantant est cafés-chantants. Avec le trait d'union au singulier comme au pluriel.
Avec la réforme de l'orthografe, on ne sait plus s'il faut un trait d'union ou pas ça devient une loterie, un coup je mets, un coup je mets pas !!! Quand c'est un texte ancien, je le mets toujours...