Toujours est il que pour ton problème, c'est normal que la fonction javascript ne trouve pas ton fichier : le javascript est exécuté côté client, donc la fonction javascript recherche sur ton disque dur.
Or MapPath, qui est une fonction ASP (donc exécuté côté serveur), renvoit le chemin du fichier sur le disque dur du serveur. Ça ne risque pas de fonctionner.
Dans l'idée, il faudrait faire : <input onclick="exec('excel.exe http://www.monserveur/monrertoire/mon_fichier.xls')" type="button" value="Ouvrir">
Toutefois, je ne sais pas si on peut ouvrir un fichier distant. Avec un peu de chance, on doit pouvoir.