Robots.txt ve Sitemap

Sitemap sitenizdeki sayfaları arama motorlarına söylemenin bir yoludur basit bir xml formattan oluşuyor. ilk google webmaster tools ile tanımıştım. çok faydalı yada faydasız diyemem çünkü zamanla siteler nasılsa tarandıkça indexleniyorlar. bu yöntem biraz daha erken biraz daha teferruatlı indexlenmesini sağlamak amaçlı yaptığım bişey.

fakat bu sitemapler google dan başka arama motorlarına nasıl veriliyor diye aranırken öğrendimki eski robots.txt bu konuda yeni bir başlığa sahip ve denedim gerçektende işe yarıyor. özellikle live(msn) search konusunda. burasının sitemap submit edebileceğimiz yeri yoktu diye bende kahillenirdim sonuçta diğer iki büyük(yahoo ve google) da bunlar için arayüzler var.

ama artık yapmanız gereken robots.txt ye sitemap eklemek. örnek:
Sitemap: http://www.mpazari.com/ilansitemap.aspx

sonra bu sitemaplerdeki 50 bin limitine takıldım 50 binden fazla link veremiyorsunuz. acaba dedim büyükler nasıl yapıyor bu işi derken sahibinden.com a baktım adamlar bölmüş parçalamış koymuş
http://sahibinden.com/robots.txt

User-Agent: *
Disallow: /haft/
Sitemap: http://www.sahibinden.com/sitemap.xml
Sitemap: http://www.sahibinden.com/sitemap1.xml
Sitemap: http://www.sahibinden.com/sitemap2.xml
Sitemap: http://www.sahibinden.com/sitemap3.xml
Sitemap: http://www.sahibinden.com/sitemap4.xml
Sitemap: http://www.sahibinden.com/sitemap5.xml
Sitemap: http://www.sahibinden.com/sitemap6.xml
Sitemap: http://www.sahibinden.com/sitemap7.xml

seo meraklılarının işine yarayacak güzel bir taktik. bu arada sahibinden deki sitemapleri firefox ile açmayın yamuluyor sanırım 50 binlik dosyalar download edip açmak lazımda denemedim :)