Cara Kerja Mesin-Mesin Penelusuran

Sangat penting untuk mengetahui logika dan cara kerja Mesin-mesin Penelusuran, sebagai dasar bagi Anda mempelajari bagaimana mengoptimalkan Website yang kita kelola pada Search Engine. 

 

Mesin Pencarian atau lebih dikenal dengan sebutan Mesin Penelusuran yang dipelopori oleh situs pencarian seperti Google adalah mesin telusur yang sepenuhnya bekerja secara otomatis, menggunakan software bernama web crawler untuk menjelajahi web secara rutin guna menemukan halaman yang akan ditambahkan ke indeks mereka.

Faktanya, sebagian besar halaman yang tercantum dalam hasil penelusuran oleh Mesin-mesin Pencari tidak dikirimkan secara manual untuk dicantumkan, tetapi ditemukan dan ditambahkan secara otomatis saat web crawler mereka mengeksplor web tersebut.

 

Artikel ini menjelaskan tahap cara kerja Penelusuran dalam konteks situs Anda. Memiliki pengetahuan dasar ini dapat membantu Anda memperbaiki masalah crawling, dengan tujuan utama membuat halaman Anda diindeks, serta mempelajari cara mengoptimalkan tampilan situs Anda di berbagai Mesin Penelusuran, seperti Google, Yahoo, Bing, AOL, dll

Tiga tahap cara kerja Mesin Penelusuran

Secara Umum , Mesin-Mesin Penelusuran seperti : Google Penelusuran bekerja dalam tiga tahap dan tidak semua halaman berhasil melewati setiap tahap:

1. Crawling: Mesin Pencari akan mendownload teks, gambar, dan video dari halaman yang ditemukan di internet dengan program otomatis yang disebut crawler.
2. Pengindeksan: Mesin Pencari akan menganalisis file video, gambar, dan teks di halaman, serta menyimpan informasi tersebut di indeks mereka, yang merupakan database berukuran besar.
3. Penayangan hasil penelusuran: Saat pengguna melakukan penelusuran di sebuah Mesin Penelusuran, seperti : Google akan menampilkan informasi yang relevan dengan kueri pengguna.

Crawling dan cara kerjanya

Crawling adalah proses di mana mesin pencari seperti “menjelajahi” internet untuk menemukan halaman-halaman baru atau update dari halaman lama. Proses ini dilakukan oleh program otomatis yang disebut web crawler atau kadang juga disebut bot atau spider.

 

Tahap pertama adalah mencari tahu halaman apa yang ada di web. Tidak ada registry pusat untuk semua halaman web, sehingga Mesin-mesin Penelusuran harus terus-menerus mencari halaman baru dan halaman yang diperbarui, serta menambahkan halaman tersebut ke daftar halaman yang dikenal. Proses ini disebut dengan : "Penemuan URL".

 

Kalau kita bayangkan, program crawler ini seperti laba-laba digital yang selalu jalan-jalan dari satu halaman web ke halaman lainnya lewat link-link yang ada di sana. Setiap kali dia menemukan halaman baru atau perubahan, dia akan memberi tahu induknya : mesin pencari, agar halaman itu bisa di-index dan muncul di hasil pencarian.
Proses crawling inilah yang membuat sebuah Mesin Penelusuran mengetahui keberadaan halaman-halaman di situs Anda. Hal ini menjadi penting bagi seorang pemilik/pengelola sebuah website agar muncul di Mesin-Mesin Pencarian. Pastikan situs Anda bisa dicrawling dengan baik.

 

Jika beberapa halaman sudah dikenal karena telah dikunjungi Mesin Pencari, maka Halaman lain akan ditemukan saat Mesin Pencari melakukan proses pengekstrakan link dari halaman yang sudah dikenal ke halaman baru: misalnya, halaman hub, seperti halaman kategori, akan menyertakan link ke postingan blog baru. Untuk sebuah halaman/artikel yang baru saja dibuat, agar lebih cepat ditemukan oleh Mesin Pencari, Anda dapat mengirimkan daftar halaman (peta situs) untuk di-crawl oleh Google Console.

baca juga :

• Cara mengetahui apakah halaman sebuah situs sudah terindeks di mesin pencari google
• Bagaimana cara mengatasi agar sebuah Judul & Artikel Blog terindeks di Search Engine Google
• Memulai Pengoptimalan Mesin Telusur : Search Engine Optimization
• Berapa lama situs atau artikel yang saya upload muncul pada sebuah Search Engine?

Bagaimana cara kerja Googlebot

Sebagaimana kami tulis di awal artikel, Google adalah situs pelopor Mesin Pencarian. Melegenda dan banyak digunakan orang, sebagai contoh di Indonesia apabila kita ingin mengetahui sesuatu, Anda pasti akan familier dengan ungakan : “tanya ke mbah Google”. Oleh karena itu penting bagi para pemilik/pengelola sebuah Website untuk mengetahui cara kerja crawling di Google. Terindeks di Mesin Pencari Google, dan muncul di halaman pertama adalah tujuan utamanya.

 

Setelah menemukan URL halaman, Google akan mengunjungi (atau "meng-crawl") halaman untuk mencari tahu apa yang ada di halaman tersebut. Google menggunakan banyak sekali komputer untuk meng-crawl miliaran halaman di web. Program yang melakukan proses ini disebut Googlebot (juga dikenal sebagai crawler, robot, bot, atau spider). Googlebot menggunakan proses algoritma untuk menentukan situs mana yang akan di-crawl, seberapa sering, dan berapa banyak halaman yang diambil dari setiap situs. 

Crawler Google juga diprogram sedemikian rupa sehingga crawler tersebut mencoba untuk tidak meng-crawl situs terlalu cepat agar tidak membebaninya. Mekanisme ini didasarkan pada respons situs (misalnya, error HTTP 500 berarti "perlambat"). Hal ini harus Anda pahami, ketika halaman-halaman di situs Anda sudah online, biarkan Googlebot bekerja sehingga Anda harus sabar, jangan ingin cepat-cepat muncul Mesin Pencari Google. Teruslah berkarya dan biarkan proses pengindeksan situs Anda di Mesin Pencari Google berjalan normal.

Penting Anda ketahui bahwa Googlebot tidak meng-crawl semua halaman yang ditemukannya. Beberapa halaman mungkin tidak diizinkan untuk di-crawl oleh pemilik situs, dan halaman lainnya mungkin tidak dapat diakses tanpa login ke situs.

Selama crawling, Google merender halaman dan menjalankan semua JavaScript yang ditemukannya menggunakan Chrome versi terbaru, mirip dengan cara browser merender halaman yang Anda kunjungi. Rendering itu penting karena situs sering kali mengandalkan JavaScript untuk menyajikan konten ke halaman, dan tanpa rendering, Google mungkin tidak akan melihat konten tersebut.

Bagaimana Blink merender sebuah halaman Web?

Blink memulai proses rendering dengan mengumpulkan semua sumber daya yang diperlukan seperti HTML, CSS, JavaScript, video, dan gambar. Untuk mengambil sumber daya ini, Blink mengelola interaksi dengan tumpukan jaringan, di Chromium, dan sistem operasi yang mendasarinya.
 
Segera setelah CSS dan HTML dimuat, Blink dapat mengubah kode tersebut, dalam bentuk teks, menjadi representasi yang dapat digunakan, dimana proses ini disebut penguraian. JavaScript juga perlu diurai dan kemudian dieksekusi.
 
Setelah semua proses ini selesai, Blink dapat mulai menata dan menampilkan suatu halaman web yang dapat Anda lihat dan berinteraksi dengannya. Proses ini disebut rendering.

Bagaimana Perbedaan Crawling dan Indexing

Sekilas seperti mirip dan sering disebut secara bersamaan, sebenarnya proses crawling dan indexing itu adalah dua hal yang berbeda, akan tetapi saling berhubungan.  Pada crawling, Mesin-mesin Pencari akan menjelajahi web untuk menemukan halaman-halaman baru atau yang sudah diperbarui. Sedangkan pada proses indexing, setelah sebuah halaman ditemukan, isinya akan dibaca, dipahami, dan disimpan oleh Mesin-mesin Pencari ke dalam database mereka.

Demikian artikel ini ditulis. Mudah-mudahan bermanfaat. Kami bukanlah ahli SEO, tentu saja artikel ini masih jauh dari sempurna.

Attention please :

Change to WEB Version, and please use the Google Translate facility that we have provided, for those of you who do not understand Indonesian. All posts on this blog are merely suggestions and input to you.