Web Crawl

Web crawler adalah suatu program atau script otomatis yang relatif simple, yang menggunakan metode tertentu untuk melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Sebutan/julukan lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.

Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait  atau berhubungan langsung dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan dan sesuai dengan yang dicari.

Ketika web crawl search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar kaninformasi yang dikumpulkan web crawl, search engine akan menentukan situs dan mengindex informasinya. Website tersebut kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking setiap halamannya.

Search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yaitu, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini (keyword populer). Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.

Web crawl beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan  yang signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan dan dilakukan pembenahan serta perbaikan.

Kelebihan:

1.     Suatu program atau script otomatis yang relatif simple

2.     Dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang      terkait  atau berhubungan langsung dengan search engine

Kekurangan:

1.      Beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan

Sumber : http://yogaarsana123.blogspot.com/2012/03/macam-macam-search-engine-kelebihan-dan.html

Berlian Rustantina_04_9C