Inilah Settingan Robots.txt yang Berbahaya Diterapkan di Blog

Settingan Robots.txt yang Berbahaya Diterapkan di Blog - Mengoptimasi SEO di blog dengan melakukan settingan pada Robots.txt adalah sah-sah saja. Tetapi perlu diketahui, bahwa tidak semua settingan Robots.txt yang anda temui di Google search itu baik untuk kelangsungan blog anda. Pertimbangkan dengan blog yang anda kelola, baik dari bentuk segala isi blog, tujuannya dan pemirsa yang ingin dicapai.

Jika blog anda bertujuan untuk berbagi turorial, menyajikan informasi unik, berbagi tentang puisi, sastra, mengulas artikel tentang misteri makhluk astral dan informasi yang menurut anda bermanfaat lain, tentu anda ingin mendapat pemirsa/pengunjung dari berbagai perangkat yang digunakan, baik dari ponsel maupun yang menggunakan laptop dan desktop.

Lalu apa hubungannya dengan settingan Robots.txt?

Kita ketahui bahwa Robots.txt ini bertujuan untuk memfilter url untuk dirayapi atau tidak dirayapi pada mesin pencari. Tapi bukan berarti anda dengan sengaja membatasi pengujung dari perangkat yang digunakannya. Nah, jika anda termasuk dari orang-orang yang ingin mendatangkan pengujung dari berbagai perangkat yang saya sebutkan tadi, maka hal di bawah ini patut anda hindari dalam settingan Robots.txt. Dibawah ini adalah kode untuk Robots.txt yang tak patut anda terapkan dalam settingan Robots.txt tersebut.

Hindari menggunakan Settingan Robots.txt Disallow M=1 & M=0

Kurang lebih settingannya seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: https://bloganda.blogspot.com/feeds/posts/default?orderby=UPDATED

Keterangan:
Saya minta anda focus pada kode yang mendisallow M=1 & M=0. Kode tersebut bertujuan untuk mengatasi duplicate halaman blog. Tetapi akibatnya sungguh fatal dan tidak patut diterapkan. Akibat dari menerapkan settingan Robots.txt tersebut adalah sebagai berikut.

Akibat Menerapkan Settingan Robots.txt di Atas

1. Postingan Blog Jelas Tidak Mobile Friendly

Kita ketahui bahwa kode robots.txt tersebut mencekal blog pada tampilan ponsel. Anda tidak yakin? Silahkan kunjungi link https://www.google.com/webmasters/tools/mobile-friendly/ lalu ambil url blog yang anda terapkan dengan settinga robots.txt di atas, dan perhatikan apa yang terjadi. Kemudian, jika anda memeriksa Webmaster, maka akan terlihat begitu banyak error dalam perayapan blog anda di perangkat mobile. Tentu saja hal ini sungguh tidak baik.

2. Hilangnya Deskripsi Postingan Pada Mesin Pencari untuk Ponsel

Jelas deskripsi sebuah postingan sangat berguna di mesin pencari. Selain membuat postingan blog tampak SEO friendly, karena deskripsi ini berisi cuplikan atau kalimat kecil atau penjelasan singkat dari sebuah postingan. Malahan akan muncul deskripsi yang aneh seperti ini "Deskripsi untuk hasil ini tidak tersedia karena robots.txt situs tersebut".

Alih-alih mengatasi duplicate meta deskripsi, malah muncul deskripsi yang tidak nyambung sama sekali dengan postingan. Bukankah meta deskripsi dari sebuah postingan itu sangat penting? Lalu mengapa harus di cekal?.

3. Membuat Calon Pengunjung Lari

Memang hal ini tidak dapat saya buktikan secara ilmiah. Namun satu yang perlu diketahui bahwa kebanyakan orang yang menjelajahi/pengguna Google search di perangkat ponsel adalah (maaf) orang-orang yang belum paham tentang SEO. Jadi ketika mereka melihat tulisan macam "Deskripsi untuk hasil ini tidak tersedia karena robots.txt situs tersebut" kemungkinan mereka akan menganggapnya itu virus yang nantinya akan berbahaya untuk ponsel mereka, lalu ia beralih ke link lain. Memang sedikit berlebihan, tapi hal sekecil itu perlu dipertimbangkan untuk kelangsungan blog anda.

4. Lama-lama Postingan Anda Tidak Akan di Indeks Mesin Pencari

Jika blog dicekal untuk perangkat ponsel dan hilangnya deskripsi untuk tiap postingan di mesin pencari perangkat ponsel, maka siap-siaplah menuju ke jurang yang paling dalam bahwa postingan blog anda tidak akan lagi di indeks mesin pencari Google. Dengan kalimat lain bahwa blog anda telah menjadi buruk di serp Google. Tentu ini adalah malapetaka untuk kelangsungan blog anda.

Menurut saya, hindarilah menggunakan settingan Robots.txt dengan pencegahan perangkat tertentu seperti ini. Ada banyak cara lain untuk mengoptimalkan blog yang begitu mudah diterapkan dan juga bergitu besar manfaatnya untuk blog anda, dengan resiko yang tidak fatal bahkan tidak mengandung resiko sama sekali.

Simak dulu: Setting Robots.txt dan Tag Tajuk Robot Khusus yang Aman di Blogger

Ini sudah jaman mobile, jadi anda tidak perlu mencekal blog/postingan di perangkat ponsel ini. Bahkan Google telah mempersiapkan Mobliegeddon, algoritma baru Google untuk perangkat mobile tentunya.

Semoga ini berguna, salam blogging.