Le point d'exclamation ! tout comme le point d'interrogation ? terminant une phrase, il faut mettre une majuscule au début de la suivante.
Pour moi, il y a une majuscule après le point d'exclamation tout le temps sauf quand on parle par exemple :
Le soleil tape fort aujourd'hui ! se dit elle, il faudrait que je prenne un chapeau.
Là il n'y a pas de majuscule car la phrase n'est pas vraiment "fini" mais sinon je crois que dans tout les autres cas il y en a une. Après la langue française a tellement d'exeption, il y en a peut-être d'autre 😉