Tarama hataları toplu halde url temizlemek

Toplu halde url hatalarını kaldırma yöntemlerle ilgili uzun uzun bir çok konuya rastlayınca doğrusu çok şaşırdım. Hele bir arkadaşımız blogunda o kadar excel formüllü bir konu hazırlamış ki, işleme ve sonuca bakınca hayret etmemek mümkün değil. Tabii tarayıcı eklentileri ve programlar cabası.

Sorunumuz Google Webmaster Tools hesabımızın Tarama Hataları sayfasında bulunan URL Hataları’nı temizlemek. Bu url hataları neden oluşuyor diye sorarsanız eğer; Web sitenizden kaldırdığınız sayfaların hâlâ Google’de bulunmasından kaynaklanıyor. Google bu sayfalara ulaşamayınca URL Hataları sayfasında bağlantınızı listeliyor.

Url hatalarını, google url kaldır servisiyle geçici olarak çözebiliriz fakat bir süre sonra tektat url hatası olarak hesabımıza yansıyacaktır. Hatalı sayfaları google’den tamamen kaldırmak için en basit yöntem “robots.txt” dosyası aracılığıyla yapılabilir. Web sitemizin istediğimiz sayfasını robots.txt dosyası sayesinde arama motorlarına kapatabiliriz-giriş iznini kaldırabiliriz.

Robots.txt dosyasıyla bir sayfanın arama motorlarına giriş iznini bu şekilde kaldırabiliyoruz:

User-agent: *
Disallow: /wp-admin/
Disallow: /vs.vs./

Yapmamız gereken tek şey hatalı url listemizi bu şekilde robots.txt sayfamıza ekleyip sitemizin ana dizinine yüklemektir.

Tabii bu hatalı url listesi bazı durumlarda binlerce olabiliyor, bu yüzdendir ki: Bu işlemin yapılması aşamasında nette bulunan bir çok konuda; chrome eklentisi, programlar ve çeşit çeşit formüllere rastlıyoruz. Aslında bütün bunlara hiç gerek yok, yapmamız gereken çok basit.

URL Hatalarını Kaldırmanız Basit Yolu

Google webmaster tools hesabımızdan, url hataları sayfamıza giriyoruz.Bütün listeyi “İNDİRME” butonuna tıklayarak ister “CSV” seçeneği ile bilgisayarımıza indiriyoruz, ister “Google Dokümanlar” seçeneği ile tarayıcımızda açıyoruz.

Listeleme örnek olarak bu şekilde olacaktır:

Robots.txt dosyamızdaki format aşağıdaki gibi olduğuna göre

Disallow: /wp-admin/

Listedeki site adresimizin yerine Disallow: ve bir boşluk eklememiz gerekiyor.

Bu aşamada yapmamız gereken tek şey, listeyi bilgisayarımıza indirip excel’de veya google dokümanı olarak tarayıcıda açtıktan sonra CTRL-F tuşlarına basarak “Bul ve değiştir” özelliğinden yararlanmaktır.

“Tümünü değiştir” butonuna bastığınızda bütün liste robots.txt dosyamıza uygun formata gelecektir. Sonrası kopyalayıp yapıştırmaya kalıyor. Bu işlem sonrası listeyi indirdiğimiz sayfada (webmasters tools), bütün listeyi işaretleyip “Düzeltildi olarak işaretle” butonuyla problemi çözdüüünüzü google’ye bildiriyoruz. Kolay gelsin.