Tarama hataları toplu halde url temizlemek

Toplu halde url hatalarını kaldırma yöntemlerle ilgili uzun uzun bir çok konuya rastlayınca doğrusu çok şaşırdım. Hele bir arkadaşımız blogunda o kadar excel formüllü bir konu hazırlamış ki, işleme ve sonuca bakınca hayret etmemek mümkün değil. Tabii tarayıcı eklentileri ve programlar cabası.

Sorunumuz Google Webmaster Tools hesabımızın Tarama Hataları sayfasında bulunan URL Hataları’nı temizlemek. Bu url hataları neden oluÅŸuyor diye sorarsanız eÄŸer; Web sitenizden kaldırdığınız sayfaların hâlâ Google’de bulunmasından kaynaklanıyor. Google bu sayfalara ulaÅŸamayınca URL Hataları sayfasında baÄŸlantınızı listeliyor.

Url hatalarını, google url kaldır servisiyle geçici olarak çözebiliriz fakat bir süre sonra tektat url hatası olarak hesabımıza yansıyacaktır. Hatalı sayfaları google’den tamamen kaldırmak için en basit yöntem “robots.txt” dosyası aracılığıyla yapılabilir. Web sitemizin istediÄŸimiz sayfasını robots.txt dosyası sayesinde arama motorlarına kapatabiliriz-giriÅŸ iznini kaldırabiliriz.

Robots.txt dosyasıyla bir sayfanın arama motorlarına giriş iznini bu şekilde kaldırabiliyoruz:

User-agent: *
Disallow: /wp-admin/
Disallow: /vs.vs./

Yapmamız gereken tek şey hatalı url listemizi bu şekilde robots.txt sayfamıza ekleyip sitemizin ana dizinine yüklemektir.

Tabii bu hatalı url listesi bazı durumlarda binlerce olabiliyor, bu yüzdendir ki: Bu işlemin yapılması aşamasında nette bulunan bir çok konuda; chrome eklentisi, programlar ve çeşit çeşit formüllere rastlıyoruz. Aslında bütün bunlara hiç gerek yok, yapmamız gereken çok basit.

URL Hatalarını Kaldırmanız Basit Yolu

Google webmaster tools hesabımızdan, url hataları sayfamıza giriyoruz.Bütün listeyi “Ä°NDÄ°RME” butonuna tıklayarak ister “CSV” seçeneÄŸi ile bilgisayarımıza indiriyoruz, ister “Google Dokümanlar” seçeneÄŸi ile tarayıcımızda açıyoruz.

Listeleme örnek olarak bu şekilde olacaktır:

Robots.txt dosyamızdaki format aşağıdaki gibi olduğuna göre

Disallow: /wp-admin/

Listedeki site adresimizin yerine Disallow: ve bir boÅŸluk eklememiz gerekiyor.

Bu aÅŸamada yapmamız gereken tek ÅŸey, listeyi bilgisayarımıza indirip excel’de veya google dokümanı olarak tarayıcıda açtıktan sonra CTRL-F tuÅŸlarına basarak “Bul ve deÄŸiÅŸtir” özelliÄŸinden yararlanmaktır.

“Tümünü deÄŸiÅŸtir” butonuna bastığınızda bütün liste robots.txt dosyamıza uygun formata gelecektir. Sonrası kopyalayıp yapıştırmaya kalıyor. Bu iÅŸlem sonrası listeyi indirdiÄŸimiz sayfada (webmasters tools), bütün listeyi iÅŸaretleyip “Düzeltildi olarak iÅŸaretle” butonuyla problemi çözdüüünüzü google’ye bildiriyoruz. Kolay gelsin.