Setiap blog sanggup melaksanakan setting robots.txt untuk sanggup memblok bab yang tidak ingin ditelusuri oleh Google, tetapi jangan lupa dengan resiko yang harus didapati bila memakai metode ibarat ini.Penggunaan robots.txt ini utamanya ialah untuk mesin telusur dari Googlebot dan perayap web yang lain yang sudah terpercaya.
Kaprikornus dengan kata lain, bahwa penggunaan file teks ini hanya untuk sebagian besar mesin telusur dan tidak seluruh mesin telusur di dunia ini. Dan tidak serta merta bahwa penggunaan robots.txt ini niscaya sanggup memblokir alamat URL yang diinginkan, alasannya masih terbuka kemungkinan URL sanggup dicrawl dari website yang lain. Kecuali melaksanakan metode pemblokiran dengan motode yang dikombinasikan dengan tag meta atau direktori yang terpasang password.
Oke, kembali ke cara setting robots.txt, bila Anda menginginkan / mensetting robots.txt maka saya akan share semoga Anda sanggup menerapkannya di blog Anda. Perlu diketahui bahwa bila settingan robots.txt tidak diaktifkan maka akan dianggap dalam keadaan default.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Dan bila ingin mencegah laman yang tidak ingin di craw sanggup dengan cara menambahkan " Disallow : "
Contoh :
Disallow : /p/about.html
Maka url /p/about.html akan diblok oleh robots.txt
dan settingan sanggup dilakukan dengan masuk ke sajian blogger -> setelan -> preferensi penelusuran ibarat gambar di bawah ini :
Jika menginginkan settingan default maka jangan klik "ya" , dan bila ingin membatasi craw url yang lain Anda harus mengklik "ya" dan tuliskan di bidang kosong sehabis itu klik simpan perubahan.
Berhati-hatilah dalam menciptakan settingan robots.txt ini , alasannya bila salah membuatnya maka akan diabaikan oleh mesin telusur.
Ok, demikianlah cara setting robots.txt untuk blogspot, semoga sanggup memperlihatkan manfaat.
0 komentar:
Post a Comment