Apa gunanya file Robots.txt di Situs Web? Ini Ulasanya

Posted on

Bertanya-tanya apa gunanya file Robots.txt di situs web? Saya telah melihat banyak kebingungan terkait dengan file robots.txt, dan ini menciptakan masalah SEO di situs web Anda. Pada artikel ini, saya akan membagikan semua hal yang perlu diketahui tentang file robots.txt, dan juga saya akan membagikan beberapa tautan yang akan membantu Anda menyelam jauh ke dalam topik ini. Jika Anda menjelajahi forum Google Webmaster, Anda akan melihat FAQ seperti:

  • Mengapa Google tidak menghapus indeks bagian tertentu dari blog saya, di mana saya telah menambahkan tag Noindex?
  • Mengapa laju perayapan blog saya lambat?
  • Mengapa tautan dalam saya tidak diindeks?
  • Mengapa Google mengindeks folder admin saya ?

Baik itu WordPress, Drupal atau platform lainnya, Robots.txt adalah standar universal untuk situs web, dan berada di akar domain. Sebagai contoh; domain.com/Robots.txt

Sekarang, Anda pasti bertanya-tanya, apa itu file Robots.txt, bagaimana cara membuatnya, dan bagaimana menggunakannya untuk pengoptimalan mesin pencari? Di sini Anda akan belajar tentang sisi teknologi file robots.txt.

Apa gunanya file Robots.txt di Situs Web?

Mari saya mulai dari dasar-dasar, semua mesin pencari memiliki bot untuk merayapi situs web. Perayapan dan pengindeksan adalah dua istilah yang berbeda, dan jika Anda ingin mengetahui lebih mendalam tentangnya, Anda dapat membaca: Google Crawling and Indexing . Ketika bot mesin pencari (bot Google, bot Bing, crawler mesin pencari pihak ke-3), datang ke situs Anda mengikuti link atau mengikuti link peta situs yang dikirimkan di dasbor webmaster, mereka mengikuti semua tautan di blog Anda untuk merayapi dan mengindeks situs Anda. .

Sekarang, dua file Sitemap.xml dan Robots.txt ini, berada di akar domain Anda. Seperti yang saya sebutkan, bot mengikuti aturan robots.txt, untuk menentukan perayapan situs web Anda. Berikut adalah penggunaan file robots.txt:

Ketika bot mesin pencari datang di blog Anda, mereka memiliki sumber daya yang terbatas untuk merayapi situs Anda. Jika mereka tidak dapat merangkak semua halaman di Situs Web Anda dalam sumber daya yang diberikan, mereka akan berhenti merangkak, dan ini akan menghambat pengindeksan Anda. Sekarang, pada saat yang sama, ada banyak bagian dari situs web Anda, bahwa Anda tidak ingin bot mesin pencari merayap. Misalnya, folder Wp-admin Anda, dashboard admin Anda atau halaman lain, yang tidak berguna untuk mesin pencari. Menggunakan robots.txt, Anda mengarahkan perayap mesin telusur (bot), agar tidak merayapi area situs web Anda. Ini tidak hanya mempercepat perayapan blog Anda, tetapi juga membantu merayapi halaman dalam Anda.

Kesalahpahaman terbesar tentang file Robots.txt adalah bahwa orang menggunakannya untuk Noindexing . Ingat, file Robots.txt bukan untuk Doindex atau Noindex, hanya saja langsung search engine bots untuk berhenti merayapi bagian tertentu dari blog anda . Misalnya, jika Anda melihat file ShoutMeLoud Robots.txt (platform WordPress), Anda akan mengerti dengan jelas, bagian dari blog saya yang tidak saya inginkan dari bot mesin pencari untuk dirayapi.

Baca juga : Fungsi google analytics untuk blog

Bagaimana cara memeriksa file Robots.txt Anda?

Seperti yang saya sebutkan, file Robots.txt berada di akar domain Anda. Anda dapat memeriksa file robots.txt domain Anda di www.domain.com/robots.txt. Dalam sebagian besar kasus (terutama di platform WordPress), Anda akan melihat file robots.txt kosong. Anda juga dapat memeriksa file Robots.txt domain Anda menggunakan GWT dengan membuka Google webmaster tool.

Struktur dasar robots.txt Anda untuk menghindari duplikat konten harus seperti ini

User-agent: *
Disallow: /wp-
Disallow: /trackback/

Ini akan mencegah robot merayapi folder admin Anda diikuti oleh umpan, trackback, umpan komentar, halaman, dan komentar. Ingat, file Robot hanya berhenti merangkak tapi tidak mencegah pengindeksan. Google menggunakan tag Noindex karena tidak mengindeks tulisan atau halaman blog Anda. Anda bisa menggunakan WordPress SEO dengan yoast untuk menambahkan Noindex di setiap posting atau bagian dari blog Anda. Untuk SEO yang efektif dari domain Anda, Website, blog, saya sarankan Anda menyimpan kategori Anda, beri tag halaman seperti Noindex tapi dofollow.

Ringkasan:

  • File robots.txt hanya digunakan untuk berhenti merayapi bagian tertentu dari blog Anda.
  • File robots.txt tidak boleh digunakan untuk Noindexing sebagai gantinya, tag meta Noindex harus digunakan.

Catatan: Jika Anda mencoba mengindeks bagian tertentu dari blog Anda, yang sudah terindeks, jangan gunakan Robots.txt untuk memblokir akses ke bagian itu. Ini akan mencegah bot merayapi bagian blog Anda, dan melihat tag Noindex yang diperbarui. Sebagai contoh: masalah replytocom .

Apakah Anda tahu jika Anda menggunakan file robots.txt dengan blog WordPress Anda atau tidak? Jika Anda memiliki pertanyaan tentang file Robots.txt, beri tahu kami.

Gravatar Image
Tinggal selagi bisa! Ajari & menginspirasi selagi Anda bisa & Senyum saat Anda memiliki gigi

Leave a Reply

Your email address will not be published. Required fields are marked *