J'avais dit dans mon premier post qu'il ne fallait pas utiliser la force s'appliquant lors du rebond parce qu'elle est infinie.
En fait, si, il suffit de la domestiquer en la multipliant par 0 (si si, ça marche très bien

!), et là la résolution du problème est toute simple ...
Version courte (résultat seul) :
Soient O le centre géométrique de l'étoile (qui devra également être le centre de masse, donc de rotation) et E l'extrémité qui tape le cadre, R=||
OE|| le rayon du cercle circonscrit, et on supposera pour les calculs que ce bord est le bord inférieur (y=0).
Soient, dans le repère direct (
ex;
ey;
ez) (par convention typographique, les vecteurs sont représentés en gras),
v1=vx1.
ex+vy1.
ey=(vx1;vy1;0) la vitesse de translation de l'étoile (
ie. de O) et
w1=w1.
ez=(0;0;w1) sa vitesse angulaire avant le rebond.
On note avec l'indice 2 les mêmes vecteurs après le rebond.
Soit â=(
ex ^
OE) l'angle entre
ex et
OE à l'instant du contact, donc â est compris entre -7*pi/10 et -3*pi/10 pour une étoile à 5 branches, et entre -2*pi/3 et -pi/3 pour une étoile à 6 branches.
A noter que si â vaut une des valeurs extrémales, c'est qu'il y a en même temps une seconde extrémité qui tape également le bord et pour laquelle l'angle â correspondant vaut l'autre valeur extrémale.
Pour simplifier la notation, on note C=Cos(â), et f=J/(mR²), avec m la masse de l'étoile et J son moment d'inertie, donc f est une constante sans dimension comprise entre 0 (toute la masse est en O) et 1 (toute la masse est la la distance R de O, donc répartie plus ou moins également entre les extrémités E (plus ou moins également, mais toujours de manière à ce que le barycentre soit en O)) et qui ne dépend que de la forme et de la répartiton relative de masse de l'objet.
Pour une étoile à 5 branches homogène (masse surfacique constante), f vaut environ 0.24248583802055, et pour une étoile à 6 branches homogène, f = 11/36 =~ 0.305555...
Hypothèse pour le contact :
glissement sans frottement (tout en Teflon par exemple

).
Ceci implique que si l'objet est un cercle tournant sur lui-même, sa vitesse de rotation ne sera pas modifiée lors des rebonds, donc il rebondira en suivant tout bêtement la loi de réflexion de l'optique géométrique.
A noter que pour le cercle, f = 1/2, et c'est en fait une étoile avec une infinité de branche, donc â est compris entre -pi/2 et -pi/2, donc â = -pi/2, donc C = Cos(â) = 0.
f+C²
Résultat :vx2 = vx1
vy1*(C²-f) - 2fC*Rw1
vy2 = --------------------
f+C²
w1*(f-C²) - 2C*vy1/R
w2 = --------------------
Attention !
Il se peut très bien que vy2 soit toujours négatif (donc l'étoile continue à aller vers le cadre) et fasse taper une autre extrémité, ou qu'en repartant, une autre extrémité tape le bord dont on s'éloigne.
Par contre, pour l'extrémité qui vient de taper, aucun problème, elle s'éloigne forcément.
Dans ce cas, c'est tout simplement un nouveau rebond, donc on réindice 1 les valeurs obtenues précédemment, et on réapplique les formules pour avoir les valeurs après rebond.
Cas particulier : si l'étoile tape le bord avec 2 extrémités en même temps, alors :
vx2 = vx1
vy2 = -vy1
w2 = w1
Ceci correspond au cas C=0 (a=-pi/2), donc comme lorsque l'étoile tape le bord avec OE vertical, ou comme pour le cercle.
D'ailleurs, pour le cercle, comme il y a une infinité de branche, on peut aussi bien dire qu'il y a une extrémité ou qu'il y en a deux qui tapent le bord, ceci montre donc qu'il n'y a pas d'incohérence visible dans le résultat.
Version semi-longue (seulement les formules utilisées et les calculs) :

Calcul de
v2 et
w2

Calcul de f
Si vous comprenez la méthode que j'ai suivie, n'hésitez pas à vérifier mes calculs, j'ai tout fait à la main, et une erreur est si vite arrivée ...
Version longue (démonstration complète, propre et détaillée) :
Si tu en as besoin, vince, je te la fais sans aucun problème.
Par contre, à cause de la rédaction (bouhouhou, j'écris beaucoup trop lentement

), il me faudra bien plus que l'heure que j'ai passée sur le brouillon

...
Note : j'ai pris pour hypothèse pour le contact le
glissement sans frottement.
Si besoin est, je peux très bien refaire les calculs avec l'hypothèse
frottement sans glissement, mais là, il n'est pas certain que, lors de la résolution de l'équation quadratique, je puisse éliminer d'office un des deux résultats ... je verrai bien ...
Dans ce cas, pour un cercle arrivant avec une vitesse de rotation nulle, le rebond lui donne une vitesse de rotation non nulle, et il ne repart pas dans la direction que donne une simple réflexion.
Bouh, snif, j'ai été plus long à écrire ce post qu'à résoudre le problème ...
@++