Pengertian Apa Itu Web Crawler tentang penjelasan agar anda memahai berbagai hal agar anda semakin memehami cara kerja search engine.
web crawler ialah suatu program / script otomat yg relatif simple, yg dgn metode tertentu melakukan scan / “crawl” keseluruh halaman-halaman internet buat menciptakan index dr data yg dicarinya. Pengertian Apa Itu Web Crawler nama lain buat web crawl ialah web spider, web robot, bot, crawl dan automatic indexer.
web crawl dapat digunakan buat beragam tujuan. penggunaan yg terumum ialah yg terkait dgn search engine. Pengertian Apa Itu Web Crawler search engine mehinggai web crawl buat mengumpulkan kabar mengenai apa yg ada dihalaman-halaman web publik. tujuan utamanya ialah mengumpukan data hingga ketika pengguna internet mengetikkan kata pencarian dikomputernya, search engine dapat dgn segera menampilkan web site yg relevan.
ketika web crawl suatu search engine mengunjungi halaman web, ia “membaca” teks yg terlihat, hyperlink, dan konten macam-macam tag yg digunakan dlm situs misal meta tag yg banyak berisi keyword. Pengertian Apa Itu Web Crawler berdasar kabar yg dikumpulkan web crawl, search engine akan menentukan mengenai apakah suatu situs dan mengindex kabarnya. website itu kemudian dimasukkan kedlm database search engine dan dilakukan proses penentuan ranking halaman-halamannya.
namun search engine bukanlah satu-satunya pengguna web crawl. linguist dapat mehinggai web crawl buat melakukan analisis tekstual; yakni, mereka dapat menyisir internet buat menentukan kata apa yg terumum digunakan hari ini. Pengertian Apa Itu Web Crawler peneliti pasar dapat mehinggai web crawl buat menentukan dan memanipulasi trend di suatu pasar tertentu. ini seluruh adalah misal beragam penggunaan web crawl. web crawl dapat digunakan oleh siapapun yg melakukan pencarian kabar diinternet.
web crawl dapat beroperasi cuma sekali, misalnya buat suatu projek yg cuma sekali jalan, / jika tujuannya buat jangka panjang misal di kasus search engine, Pengertian Apa Itu Web Crawler mereka dapat diprogram buat menyisir internet secara periodik buat menentukan apakah telah berlangsung perubahan signifikan. jika suatu situs mengalami trafik amat dit / kesulitan teknis, spider / crawl dapat diprogram buat mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan.
Sebuah web crawler ialah program yg download halaman web, umumnya buat sebuah mesin pencari web / web cache. kira-kira, crawler dimulai mencari situs yg berhubungan dgn perintah pencarian melalui crawling terhadap sitemap situs. Pengertian Apa Itu Web Crawler Pengertian Apa Itu Web Crawler dr sitemap tersebut dilakukan pencocokan meta tag dan meta description dgn perintah pencarian lalu dgn satu set awal url s0. ini pertama kali men4kan s0 dlm antrian, dimana seluruh url yg akan diambil disimpan dan diprioritaskan. dr antrian ini, crawler mendapat url (dlm beberapa order), men-download halaman, ekstrak url apapun dihalaman download, dan men4kan url baru dlm antrian.
Proses ini diulang hingga crawler memutuskan buat berhenti, buat salah satu dr macam-macam alasan. setiap halaman yg diambil diberikan kedi klien yg menyimpan halaman, menciptakan index buat halaman, / menganalisis konten halaman. crawler banyak digunakan waktu ini. crawler buat mesin pencari utama (misalnya, google, altavista, dan excite) mencoba buat mengunjungi sekomponen besar halaman web tekstual, dlm rangka membangun indeks konten. crawler lainnya jg dapat mengunjungi banyak halaman, tapi mungkin terlihat cuma buat jenis kabar tertentu (misalnya, alamat email). Pengertian Apa Itu Web Crawler Pengertian Apa Itu Web Crawler karena web ialah raksasa dan diperbarui setiap hari, banyak tuntutan buat mempunyai sebuah web crawler yg memadai. laksana misal, berdasarkan macam-macam penelitian [bybcw00, lg99, lg98, bb99], terdapat lebih dr satu miliar halaman yg tersedia diweb. mengingat bahwa tingkatan rata-rata dr sebuah halaman web ialah sekamir 5-10k byte, data tekstual itu independen berjumlah setaknya puluhan terabyte.
Tingkat pertumbuhan web ini bahkan lebih dramatis. berdasarkan [lg98, lg99], tingkatan web telah 2 kali lipat dlm waktu kurang dr 2 thn, dan laju pertumbuhan ini diperkirakan akan terus berlanjut selama 2 thn kedepan. Pengertian Apa Itu Web Crawler selain dr halaman yg baru dibuat, halaman yg ada yg terus menerus diperbarui [pp97, wm99, dfk99, cgm01]. Pengertian Apa Itu Web Crawler crawling the web: discovery and maintenance of large scale web data (junghoo choo stanford uniedisity doctor of philosophy thesis november 2001) cho, junghoo, ucla computer science department.
itulah bahasan Pengertian Apa Itu Web Crawler semoga menjadikan akan semakin memahai tentang makna akan manfaat dan kegunaan serta bagaimana cara kerja dari bagian dari search engine tersebut.
