Google, Msn och Yahoo! har arbetat tillsammans för att utveckla en standard för xml sitemaps. En sitemap är ett smidigt sätt att tala om för sökmotorernas spindlar vad som är nytt, vad som ska prioriteras, specificera vilka URLér som ska indexeras först och på så sätt slippa att vänta på att nytt innehåll ska upptäckas först när spindlarna crawlar hels webbplatsen. Läs mer om detta på Sitemaps.org.