Il suffit de mettre une image avec un lien vers l'URL de ton fichier RSS:

Exemple:
<a href="http://sebsauvage.net/rss/updates.xml"><img src="images/logo-rss.png"></a>


Ensuite, remplis le contenu de ton fichier XML.