Créez votre icône à partir d'un logiciel le permettant, par exemple AWicons lite (gratuit).
Il doit avoir une taille de 16x16
Enregistrez votre icône sous le nom icone.ico
Transférez cet icône à la racine de votre site.
Placez ce script entre <head> et </head> sur toutes vos pages :
<LINK REL="SHORTCUT ICON" href="http://www.votresite/icone.ico">
je ne crois pas que cette fonction existe avec Internet Explorer.
mais si quelqun connait le script, je suis preneur