Google Spiders หมายถึง โปรแกรมคอมพิวเตอร์ที่ใช้เพื่อดึงข้อมูลจากเว็บไซต์ต่าง ๆ ของ Google ในการสร้างและปรับปรุงดัชนีการค้นหาของตัวเอง ซึ่งเป็นส่วนสำคัญของระบบค้นหาของ Google โปรแกรมเหล่านี้ยังเรียกว่า web crawlers, bots หรือ robots
Google Spiders ทำงานโดยการค้นหาและเข้าถึงหน้าเว็บต่าง ๆ บนอินเทอร์เน็ต แล้ววิเคราะห์และดึงข้อมูลจากหน้าเว็บเหล่านี้ เช่น ข้อความ ลิงก์ และสื่อต่าง ๆ เพื่อสร้างดัชนีการค้นหา
นอกจากนี้ Google Spiders ยังเป็นเครื่องมือสำคัญในการตรวจสอบการปรับปรุงเว็บไซต์ และติดตามการเปลี่ยนแปลงในเนื้อหาของเว็บไซต์เพื่อให้ผลลัพธ์การค้นหาของ Google ตรงกับความต้องการของผู้ใช้มากขึ้น
Re-Index บ่อยไหม
การรีอินเด็กซ์ เหมือนให้ Google รับรู้ความเปลี่ยนแปลงของเว็บไซต์เรา ซึ่งถือเป็นเรื่องสำคัญ เพราะไม่ใช่ว่าเราจะแก้ไขตรงนี้ได้เอง ทาง Google จะกำหนดมากกว่า
คำถาม คือ แล้ว Google Re-Index บ่อยแค่ไหน ? เพิ่มหรือลด อย่างไร
John Mueller ให้คำตอบน่าสนใจไว้ดังนี้
ต้องเวลานานขนาดไหนถึง Google จะรับรู้การเปลี่ยนแปลงขนาดใหญ่บนเว็บไซต์
ถ้าส่งบอตจำนวนมากไปที่เว็บไซต์ทั้งหมดในครั้งเดียว ในเวลาสั้นๆ ถึงจะสำรวจเว็บได้ละเอียดขึ้น แต่ก็ทำให้เกิดภาระหนักบนเว็บไซต์ จนทำงานช้าลง มีผลต่อคนอื่นได้
ดังนั้น Googlebot พยายามที่จะจำกัดจำนวนของหน้าเว็บที่ค้นหาได้ในแต่ละวัน ปรับจำนวนครั้งอัตโนมัติ
เมื่อบอตเข้าใจขีดจำกัดของเว็บไซต์ได้ดียิ่งขึ้น การมองหาส่วนของเว็บไซต์เราต้องเรียงลำดับลำดับความสำคัญในการค้นหา
โดยทั่วไป Googlebot พยายามค้นหาหน้าที่สำคัญมากขึ้นอย่างถี่ขึ้นเพื่อให้มั่นใจว่าหน้าที่สำคัญสุดถูกค้นหาได้บ่อย
เมื่อบอตเข้าใจว่าหน้าแรกของเว็บไซต์ หรือ หน้าที่สำคัญซึ่งถูก Link จากหน้าอื่น ก็จะไปเยี่ยมหน้านั้นบ่อยขึ้น
บอตจะทำการค้นหาหน้าเหล่านี้อย่างถี่ที่สุด บางครั้งอาจจะทำการค้นหาหน้าเหล่านี้บ่อยเป็นพิเศษ อาจจะเป็นระยะเวลาหลายวันหรือบางครั้งอาจมากกว่านั้น
สรุป
กล่าวคือ Google Bot คือ ปรับจำนวนครั้งที่เข้ามาเยี่ยมชมให้สอดคล้องกับเว็บไซต์และหน้าเด่นของเว็บนั้น โดยไม่ต้องปรับ Crawl Limit แบบเมื่อก่อน
จากคำตอบนี้ ทำให้เข้าใจว่า การที่มีหน้าถูก Link ภายในหลายหน้า จะช่วยบอกให้บอตเข้าใจว่าหน้านั้นสำคัญ ควรมาเช็คอัพเดตบ่อยครั้ง
ส่วนหน้าที่ไม่ค่อยมีการอัพเดต บอตจะไม่ค่อยเข้าไปเยี่ยม โดยเช็คการแก้ไขครั้งสุดท้ายได้จาก Sitemap
ส่วนเว็บไซต์เปิดใหม่ บอตมีโอกาสจะยังไม่ค่อยเข้า ต้องไปกระตุ้นตามช่องทางต่างๆ ยิ่งมีคนเข้าทางตรงหรือโซเชียลบ่อย ก็กระตุ้นให้บอทมาเยี่ยมบ่อยขึ้น
ที่มา: Animas Marketing, Youtube