Website software voor het sturen van zoekmachine spiders
Professionele website software om de zoekmachines te sturen
Er bestaat helaas geen website software die werkt met een code die aan de zoekmachine spider vertelt dat die u op nr. één moet plaatsen. Wat wel bestaat, is zoekmachinevriendelijke software zoals het content management systeem of CMS van the AIM dat u een flinke voorsprong kan bezorgen in uw rankings ten opzichte van de concurrentie.
In dit artikel hebben we het over robots.txt files en andere meta tags die de crawlers helpen bij het indexeren van uw website of bij het blokkeren van ongewenste websites.
Zoekmachine spiders of crawlers - Een web crawler (of web spider) is een programma dat het World Wide Web doorzoekt op een systematische en automatische manier. Web crawlers maken meestal een kopie van alle bezochte pagina's voor latere behandeling door een zoekmachine, die de gedownloade pagina's indexeren om een snel zoekproces voor te bereiden.
Een web crawler is een 'bot' type, of software agent. Globaal gezien bezoekt die eerst een lijst URL's. Wanneer die de lijst bezoekt, zal hij alle hyperlinks op een pagina identificeren en voegt ze toe aan de te bezoeken URL lijsten.
De Robots.txt file
Robots.txt - Het Robots.txt protocol is een conventie om web spiders en andere web robots informatie te geven over de toegang tot een deel van de website of de ganse site. De info over de stukken die niet toegankelijk mogen zijn wordt gespecificeerd in een file met de naam robots.txt.
Dit protocol speelt enkel een adviserende rol, dus het garandeert geen enkele privacy voor uw website. Vele webmasters hebben de robots file al gepoogd te misbruiken door private delen van hun website onzichtbaar te maken voor de rest van de wereld. De file is echter bereikbaar voor het grote publiek en kan op een eenvoudige manier door iedereen met een web browser gecheckt worden.
Meta tag
Meta tag - Meta tags worden gebruikt om gestructureerde data te geven over andere data.
In de vroege jaren 2000 veranderden de zoekmachines van richting wat de Meta tags betreft, doordat veel websites ongepaste keywords gebruikten of aan keywords stuffing deden om zoveel mogelijk inkomende traffic te krijgen.
Sommige zoekmachines gaan echter wel nog rekening houden met de Meta tags bij de weergave van de resultaten. De laatste jaren zijn de machines slimmer geworden en kunnen ze websites afstraffen die bedrog plegen door hetzelfde trefwoord veel te veel herhalen om betere rankings te krijgen. In plaats van hogere rankings te krijgen, zullen deze websites zakken of zullen zelfs helemaal uit de zoekmachine gegooid worden.
De robots.txt file en de meta tag: hoe kunnen ze u van dienst zijn? In de robots.txt kunt u aan de schadelijke 'web crawlers' zeggen dat ze uw site met rust moeten laten en handige hints geven aan de crawlers die wel uw site moeten bezoeken. Om verwikkelinen te voorkomen kunt U de Meta tag gebruiken om specifiek te 'babbelen' met de robots van Google, of wanneer u uw site optimaliseert voor de Google zoekmachine.