Isi
Pencari internet seperti Google, Yahoo dan Bing mencari informasi menggunakan tautan dan peta situs untuk situs web lain. Mesin pencari ini dapat menemukan beberapa informasi yang paling tidak jelas dan memasukkannya ke dalam indeks Anda dan jenis teknologi pencarian ini memiliki kelebihan dan kekurangan bagi pengguna.
Halaman jaringan internal
Halaman jaringan internal adalah halaman di situs web yang membutuhkan banyak klik untuk dilihat oleh pengguna. Halaman-halaman ini dapat berupa produk, konten, atau database pencarian yang biasanya tidak dapat dilacak oleh mesin pencari. Keuntungan dari jenis teknologi ini, yang mencegah perayapan mesin pencari, adalah bahwa pemilik situs web dapat memiliki produk, pembelian, informasi, dan tautan penting lainnya yang termasuk dalam indeks mesin pencari. Ini memberikan lebih banyak visibilitas di Internet kepada pemilik situs web.
Informasi Pribadi
Salah satu kelemahan mesin pencari yang merayapi adalah memiliki informasi pribadi yang diindeks terlepas dari privasi. Informasi seperti nomor keamanan, data keuangan atau lokasi geografis dapat diindeks, bahkan jika itu telah diposting di situs web pribadi. Pencari memberi pengguna kemampuan untuk memblokir beberapa informasi indeks dengan menggunakan file yang disebut "robots.txt." Mesin pencari seperti Google, misalnya, memungkinkan pengguna untuk menghapus URL setelah pemilik situs telah menghapus informasi ofensif, yang dihapus dari indeks.
Otomasi
Pemilik situs web dapat membuat halaman mereka diindeks dengan meninggalkan beberapa tautan di situs web lain atau bahkan di situs mereka sendiri. Praktek ini disebut "backlinking." Situs web yang memanfaatkan fitur ini secara otomatis dilacak oleh mesin pencari, yang kemudian dapat memetakan dan mengindeks situs web. Ini memudahkan situasi pemilik situs web karena mereka tidak perlu mengirimkan nama domain ke mesin pencari. Otomasi indeks memudahkan pembaca Internet untuk mencari.
