Pada kesempatan kali ini, saya akan membahas wacana cara memasang robot.txt yang benar pada blog. Mengapa saya menciptakan artikel ini? Karena banyak dari teman bloger saya yang menanyakan mengenai robot.txt, bahkan saya sudah berulang kali menyampaikan bahwa untuk memakai robot.txt haruslah sesuai kebutuhan. Apabila memungkinkan untuk memasang versi default, maka pasang versi default.
Sistem robot pada platform blogger bahwasanya sudah bagus, tapi sebab satu dan lain hal, robot.txt menciptakan webmaster meng-crawl semua link dofollow. Tapi, sebab robot yang satu ini sensitif, maka perlu pemasangan yang benar sobat.
Bahkan, sekalipun itu bukan blogger, ibarat wordpress, tetap saja mengalami hal yang sama.
Adapun juga mengenai situs yang diindex tapi diblokir oleh robot.txt. Dan masih banyak lagi permasalahan lainnya.
Lalu, bagaimana cara menanggulanginya? Simak dengan baik artikel berikut.
1. Buka setelan robot.txt anda, apabila belum ada robot.txt maka buatlah terlebih dahulu.
2. Aktifkan setelan robot.txt
3. Paste instruksi berikut ini
User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Allow: / Disallow: /search User-agent: * Disallow: Sitemap: https://gasskeun.blogspot.comfeeds/posts/default?orderby=UPDATED 4. Jangan disimpan dahulu, lakukan editing kecil biar robot.txt tetap aman. Berikut ini penjelasannya.
Pertama, ubah dahulu link sitemap di atas sesuai dengan sitemap yang anda punya. Bisa atom, rss, dan xml. Asalkan bukan html, php dan lain-lainnya.
Kedua perhatikan user agent. Setiap user-agent mempunyai banyak imbas terhadap blog loh. Berikut ini yaitu list user-agent dan penjelasannya.
* = User-agent ini bermaksud untuk melaksanakan perintah terhadap semua link dofollow terhadap semua search engine
Googlebot =Masih ibarat tadi, bedanya ini untuk perintah untuk googlebot
Googlebot-News = Untuk mengcrawl blog atau situs berkonten berita, maka perlu dipasang ini.
Googlebot-Image = Untuk meng-crawl gambar atau foto anda, tapi tak perlu dipasang
Googlebot-Video = Untuk meng-crawl situs dengan konten video.
Googlebot-Mobile = Untuk meng-crawl situs versi mobile
Mediapartners-Google = Lebih kepada untuk mempercepat index atau ibarat list awal
Adsbot-Google = Untukperintah terhadap situs dengan iklan ibarat Adsense
Lalu, apa lagi? Adapun perintah crawl dan jangan dicrawl, berikut ini penjelasannya.
Allow = Menginzinkan suatu direktori untuk dicrawl oleh search engine
Disallow = Tidak menginzinkan suatu direktori untuk dicrawl oleh search engine
Lalu, apakah kita sanggup menambah baris skrip? Bisa. Tapi itu berbahaya berdasarkan saya. Maka disarankan untuk memasang user-agent dengan batas maksimal 3-4 saja dan untuk perintah crawl masing-masing hingga 5 saja. Mengapa ibarat itu? Karena saya takut anda protes tidak terang kepada saya, padahal anda sendiri yang menyalahgunakan atau melaksanakan kesalahan terhadap mesin robot ini.
Ingat y, kawan. Mesin robot.txt ini benar-benar sensitif. Nah, kemudian bagaimana jikalau robot txt menjadi liar untuk memblokir halaman di situs anda?
Ada pepatah menyampaikan “banyak jalan menuju roma”, maka banyak juga jalan untuk mengatasi hal ini. Artinya setiap sesuatu dilema punya banyak jalan untuk kita lalui.
Untuk memperbaikinya, maka anda sanggup melaksanakan setting ulang dengan memasang robot.txt ibarat yang saya contohkan di awal dengan sedikit edit terhadap url.
Kedua, dengan melaksanakan check skrip instruksi link di blog anda, apakah anda memanang “rel=dofollow” atau tidak? Sebaiknya jangan, biar robot.txt berjalan dengan baik. Jadi, webmaster tidak memperingatkan bahwa adanya halaman yang dicrawl tapi diblokir oleh robot.txt
Ketiga, dengan memasang user-agent pelengkap pada robot.
Keempat, sesuaikan kebutuhan robot.txt
Dan yang terakhir dengan menonaktifkan custom robot.txt
Hmmm.. Seperti cukup saja artikel saya kali ini. Silakan bertanya jikalau anda menerima kesulitan. Termakasih atas kunjungan anda dan hingga jumpa di artikel lainnya.