La fréquence n'est qu'un élément.
Très grossièrement, la puissance d'un CPU va être le produit de l'IPC (nombre d'instruction par cycle) et de la fréquence (nombre de cycles par seconde) et de la complexité des instructions (dure à mesurer, bien sûr, mais ce n'est pas choquant qu'une simple addition consomme moins qu'un calcul de hash complet).
Ça fait longtemps que je n'ai pas regardé en détail, mais pendant longtemps les ARM consommaient moins mais avec un IPC plus faible et des instructions plus simple. Quand Intel a fait des processeurs plus simples et avec un IPC plus faible, la consommation s'est rapprochée des ARM. Au final, quand tu demandes vraiment les mêmes performances, ARM et x86 étaient kif-kif.