Akibat dari penggunaan plugins translator menyisakan masalah duplikat konten pada blog terdiri duplicate title tags dan duplicate meta descriptions. Duplikat terjadi karena adanya tag judul yang sama namun memiliki url berbeda pada laman situs web yang sama akibat dari penerjemah yang menciptakan tautan baru dari artikel dalam berbagai bahasa yang diikuti pula meta descriptions. Google Webmasters Tools mengidentifikasi dan mencatat permasalahan ini yang baru saya ketahui setelah beberapa bulan tidak buka akun google webmaster tools. Memang blog ini hanyalah untuk eksperimen dan belajar ketika ada waktu luang dan tidak dikelola serius.

Meskipun Google akan tetap mengindeks dan meranking situs web yang punya masalah duplikat konten, namun menyarankan kepada webmaster agar menghindari duplikasi konten. Saran tersebut dapat diartikan Google tidak suka duplikasi konten. Permilik situs web juga diuntungkan peluang lebih banyak konten yang unik dari situs akan diindeks dan semakin banyak kunjungan yang berasal darai referensi mesin pencari. Duplikasi konten yang diindeks akan berebut indeks pada situs web yang sama atas duplicate title tags dan duplicate meta descriptions. Hal ini dari sisi Search Engine Optimization (SEO) kurang baik maka lebih baik ikuti saran Google.

Google memberikan cara mencegah dan mengatasi duplicate title tags. Salah satu cara yang disarankan adalah membuat file robots.txt dan ditempatkan di direktori root (public_html). Fungsi file robots untuk mengatur bagian URL yang boleh diindeks dan tidak boleh diindeks, dijelajahi robot spider mesin pencari (crawl access). Fungsi lain file robot adalah untuk mencegah bagian-bagian yang bukan untuk publik karena alasan keamanan misalkan direktori wp-admin,  wp-contents, dan wp-includes diindeks mesin pencari.

Pengaturan file robots.txt pada blog ini dan tes dulu Robots di robot checker adalah sebagai berikut:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?
Disallow: /*?replytocom
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$
Disallow: /*page=*
Disallow: /*pg=*
Disallow: /*/2$
Disallow: /*/3$
Disallow: /*/4$
Disallow: /*/5$


User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /
 
User-agent: HTTP Weazel
Disallow: /

User-agent: Leech
Disallow: /

User-agent: Offline Explorer Pro
Disallow: /
 
User-agent: Offline Commander
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Teleport
Disallow: /
 
User-agent: WebBandit
Disallow: /

User-agent: WebCopier
Disallow: /
 
User-agent: Web Downloader
Disallow: /

User-agent: WebSnake
Disallow: /
 
User-agent: WebReaper
Disallow: /
 
User-agent: WebStripper
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /author/
Disallow: /comments/
Disallow: /search/

Sitemap: https://isnan-wijarno.com/sitemap.xml
Sitemap: https://isnan-wijarno.com/sitemap.xml.gz

Meskipun telah dibuat file robot, crawl errors masih mencatat pada tautan artikel terjemahan plugins translator. Banyak URL error, “Not found” entah karena URL tersebut tidak terbaca atau memang sudah terhapus sehingga Googlebot tidak menemukan URL-nya. Solusi yang diberikan Google atas URL Not found yaitu klik all lalu pilih Mark as Fixed atau dihapus satu per satu Crawl Errors Link, tetapi error muncul kembali dalam beberapa hari.

Entah kenapa, padahal URL “not found” sudah di-redirect dengan perintah pada file 404.php. Ketika error 404 not found dialihkan ke laman home.

Informasi menu Google Webmaster sebagai berikut:

Alat Webmaster –> Kesehatan –>Kesalahan Perayapan –> 85 kesalahan tidak ditemukan

Alat Webmaster –> Pengoptimalan –> Penyempurnaan HTML –> Duplikat deskripsi meta –> 112 laman

Terkait dengan duplikasi konten Google mencatat dan menyarankan (Penyerpurnaan HTML) cara mencegah duplikasi sependek yang saya tahu saran Google dengan URL parameters gambar di bawah ini. 

Alat Webmaster –> Konfigurasi –> Parameter URL

Tambahkan parameter: gtlang –> Ya: mengubah, mengurutkan ulang, atau menyempitkan konten laman –> menerjemahkan –> Tidak ada URL –> Tampilkan URL contoh –> Simpan.

Mungkin agar benar-benar terhapus dari indeks Google harus menunggu beberapa hari sehingga tidak ada duplikasi konten karena beberapa jam setelah mengatur URL parameters masih ada duplikasi.

Hasilnya setelah perubahan melalui alat webmaster adalah pada artikel Google Webmater Tools HTML Improvements