Le référencement de site internet consiste à optimiser sa visibilité sur l'ensemble du web.
Pour cela le "référenceur" va entre autre enregistrer votre site web dans les outils de recherche disponibles sur Internet, c'est à dire les moteurs et les annuaires de recherche.

Un grosse partie du référencement ce fait dans le rédactionnel de vos pages. C'est dire que l'on va affiner les textes pour qu'ils correspondent à un ou des mots clés tapés dans un moteur de recherche.
Si par exemple les mots clés sont "graphiste freelance lyon", vous allez faire en sorte que les mots graphiste, freelance, lyon soient dans votre page.

Le référencement c'est aussi mettre en place des campagnes de plublicité, les liens sponsorisés, de l'affiliation comme par exemple :


Pour bien référencer son site, il faut aussi trouver des partenaires pour échanger des liens (exemple : mes partenaires).
Autres lien :
Comment référencer son site internet

Le fichier robots.txt désigne le fichier texte mis à la base d'un site internet, destiné aux robots d'indexation.
Le fichier robots.txt contient des instructions qui indiquent aux robots quels répertoires indexer ou non.
Les robots d'indexation peuvent, s'ils le désirent passer outres ces intructions et indexer tout le site web.

Voir utilisation du fichier robots.txt