ربات خزنده‌ای که در صفحات اینترنت حرکت کرده و همانند یک انسان از صفحه‌ای به صفحه دیگر با استفاده از لینکهای موجود، وارد می‌شود. وظیفه رباتهای خزنده ذخیره اطلاعاتی است که از صفحات اینترنت بدست می‌آورند. موتورهای جستجو همانند گوگل، از اسپایدرها برای جمع‌آوری اطلاعات از سایت‌ها برای تسهیل در جستجوی وب، استفاده می‌کنند.