Robots.txt adalah Sebuah file dengan fungsi yang di gunakan
untuk membatasi akses robot mesin pencari (Google,Bing,Yahoo) yang sedang
menjelajahi atau membuka situs atau blog yang anda miliki . Sebelum mereka mejelajahi
halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file
robots.txt ada ataukah tidak , dan di dalam robots.txt ada perintah yang
mencegah mereka mengakses untuk halaman tertentu.
Kita memerlukan robots.txt agar robot-robot itu tidak
meng-index halaman di mesin pencari(Google,yahoo,Bing) yang tidak kita inginkan
, karena mungkin ada beberapa halaman situs atau blog yang tidak ingin di index oleh mesin
pencari. Jika kita ingin semua content di situs atau blog kita di index oleh mesin
pencari kita tidak membutuhkan robots.txt .
Manfaat
Dalam hal SEO (Search Engine Optimization), kemampuan Robots.txt yang dapat mengarahkan
spider bot meng-crawling halaman yang ditargetkan bisa kita manfaatkan untuk
mengarahkan spider bot pada halaman penting seperti halaman konten agar konten
tersebut cepat terindex oleh mesin pencari.
Saat spider bot memutuskan untuk meng-crawl situs, situs
akan kehilangan bandwidth dalam
jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada
directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan
kegagalan spider bot dalam meng-crawl blog karena akses situs yang kurang baik
akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi
konten sampai tuntas.
Di lain sisi bila halaman index yang di dapat mesin pencari
pada sebuah situs dinilai sangat berkualitas, maka situs tersebut akan memiliki
peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya
dibandingkan dengan situs yang memiliki banyak halaman index namun dengan
konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link
didalamnya.
SEO (Search Engine Optimization)
Semoga bermanfaat....
SEO (Search Engine Optimization)
SEO atau Search Engine Optimization atau dalam bahasa
Indonesia kurang lebih berarti optimasi mesin pencari, maksudnya adalah sebuah
teknik atau cara untuk mengoptimalkan atau memaksimalkan sebuah situs atau blog
agar mampu tampil di mesin pencari dengan kata kunci tertentu. Misalnya, blog
dengan http://smart-chameleon.blogspot.sg
dan ditargetkan dengan kata kunci " Mengatasi Pesan "ConsiderReplacing Your Battery" Pada Laptop Dengan OS Windows 7 ", dengan
mesin pencari (Google,yahoo,Bing) . Jika
situs atau blog tersebut mampu tampil di halaman pertama atau mungkin urutan
pertama pada halaman hasil pencarian tadi, berarti blog tadi sudah berhasil
dioptimalkan dengan kata kunci tersebut di atas.
.jpg)
Terimakasih banyak agan. sangat bermanfaat infonya.
ReplyDeletesama2 'gan. thanks ats kunjungannya.
Delete