Başlangıç / Web / Robots.txt Nedir? Nasıl Yapılır? | WordPress | Opencart

Robots.txt Nedir? Nasıl Yapılır? | WordPress | Opencart

Robots.txt, Arama motorlarının sitemizi ziyaret ettiğinde hangi sayfaları ve içerikleri indexleyecebileceğini belirtmemize yarayıp, sitemizin ana dizininde bulunan “.txt” formatında bir dosyadır.

robots.txt-wordpress-opencart

Robots.txt Terimleri

User-agent: Arama motorlarını filtreleyebileceğimiz komut.
Disallow: İndex almasını istemediğimiz sayfa/dizin/içeriği belirttiğimiz alan.
Allow: İndexlemesini istediğimiz sayfa/dizin/içeriği belirttiğimiz alan.
Sitemap:
Site harita(larımızı) belirttiğimiz alan.

Robots.txt Nasıl Oluşturulur

Robots.txt dosyası genel olarak ana dizinde yer almaktadır. Ancak kontrol ettiğinizde dosya yok ise yeni bir metin belgesi oluşturup ismini Robots.txt yaptığınızda yeni bir dosya oluşturmuş olursunuz.

robots-txt-nedir-660x84

Şimdi dosyamızın içini doldurmaya başlayalım.

User-agent komutu

Aksi bir durum olmadığında genel olarak tüm arama motorlarının sitemizi ziyaret edip indexlemesini isteriz o yüzden ilk satırımızda yer alan User-agent: komutunu “*” şeklinde doldurarak tüm arama motorlarının sitemizi ziyaret etmesine izin vermiş oluyoruz.

Kullanımı: User-agent: *

Not: Sadece Google botlarının sitenizi ziyaret etmesini istiyorsanız aşağıdaki örneği kullanabilirsiniz.

İlginizi Çekebilir  En iyi avatar oluşturucu 3 mükemmel site

Örnek: User-agent: Googlebot (Bu komut ile sitenizi yalnızca Google botları ziyaret edecektir.)

Allow ve Disallow komutları

Sitemizde bazı bölümlerin index almasını istemeyiz örneğin wp-admin klasörü, index almasını engellemek için yukarıda belirttiğimiz Robots.txt Disallow: komutunu kullanacağız.

robots-txt-disallow

Kullanımı: Disallow: /wp-admin/

Aşağıdaki örnekte ise botlar safakozt dizinindeki safak.html dosyasını indexleyecek ancak safakozt dizinindeki diğer dosyaları indexlemeyecektir.

User-agent: *
Allow: /safakozt/safak.html
Disallow: /safakozt/

Sitemap – Robots.txt site haritası

Bu komut ile site haritamızın yolunu arama motorlarına belirtiyoruz.

robots-txt-nasıl-yapılır-wordpress

Kullanımı: Sitemap: https://www.safakozt.com/post-sitemap.xml (Birden çok site haritasını satırlara bölerek belirtebilirsiniz.)

Robots.txt WordPress için nasıl olmalı?

Kendi sitemde kullanıdığım dosya içeriği aşağıdaki gibidir.

User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

Disallow: /readme.html
Disallow: /tag
Disallow: /wp-admin/
Disallow: /archives/

Sitemap: https://www.safakozt.com/post-sitemap.xml
Sitemap: https://www.safakozt.com/page-sitemap.xml

Robots.txt Opencart için nasıl olmalı?

Aşağıda paylaştığım örnek dosya içeriğini çalıştığım Opencart sitelerinde kullanıyorum.

User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /download/
Disallow: /vqmod/
Disallow: /index.php?route=affiliate/register
Disallow: /index.php?route=affiliate/login
Disallow: /index.php?route=account/reward
Disallow: /index.php?route=account/address
Disallow: /index.php?route=account/password
Disallow: /index.php?route=account/edit
Disallow: /index.php?route=product/search
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=account/register
Disallow: /index.php?route=account/transaction
Disallow: /index.php?route=account/download
Disallow: /index.php?route=account/return
Disallow: /index.php?route=information/sitemap
Disallow: /index.php?route=account/forgotten
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=account/newsletter
Disallow: /index.php?route=product/special
Disallow: /index.php?route=account/logout
Disallow: /index.php?route=account/order
Disallow: /index.php?route=checkout/checkout
Disallow: /index.php?route=account/login
Disallow: /index.php?route=account/wishlist
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart

İlginizi Çekebilir  Litespeed cache ayarları nasıl olmalı? Detaylı anlatım

Sitemap: sitemap url’si

Robots.txt Generator

Robots.txt generator ile bir kaç adım ile dosyanızı oluşturup ana dizine gönderebilirsiniz.

robots-txt-generator

Robots.txt test aracı

Google Search Console‘da bulunan test aracı ile dosyanızın uyarı ve hatalarını kontrol edebilirsiniz.

robots.txt-test-araci.bk

“Robots.txt tarafından engelleniyor olsa da dizine eklendi” hatası

Disallow komutu ile engellediğiniz içerik Google tarafından index alabilir bunun sebebi o içeriğe dış bağlantı(backlink) gelmesidir. Google backlinklere değer verir ve o içeriğin yararlı olduğunu düşünüp içeriği indexler. Bunu engellemek için içeriğin kaynak bölümüne <meta name=”robots” content=”noindex”> kodunu eklemelisiniz. Eğer içeriğin sadece Google botları tarafından engellemesini istiyorsanız. <meta name=”googlebot” content=”noindex”> kodunu kullanabilirsiniz.

Sitemap ve Robots.txt dosyanızın uyumuna dikkat etmelisiniz. Sitemap dosyanızda görselleri Google’a gönderirken Robots.txt’te engellenmiş olması Google Search Console‘da hata almanıza sebep olur.

Kontrol Ediliyor

wordpress-gururla-sunar-yazisini-kaldirmak

WordPress Gururla Sunar Yazısını Kaldırmak Sadece Bir Dakika

“WordPress Gururla Sunar” Yazısını aşağıdaki adımları izleyerek sadece bir dakikada kaldırabilir ya da değiştirebilirsiniz. Türkçe …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir