كيف يعمل محرك بحث جوجل؟ من اكتشاف الصفحة إلى ظهورها في النتائج

وتوضح Google أن Search يعمل بصورة عامة عبر ثلاث مراحل أساسية:

• Crawling
• Indexing
• Serving Search Results

كما تؤكد أن ليس كل صفحة تمر بكل مرحلة أو تظهر في النتائج.

فهم كيف يعمل محرك البحث جوجل مهم لصاحب الموقع؛ لأن مشكلة عدم ظهور الصفحة في نتائج البحث لها مراحل مختلفة تمامًا.

ربما Google لم يكتشف الصفحة، أو اكتشفها لكنه لم يزحف إليها، أو زحف إليها لكن لم يستطع رؤية المحتوى بالشكل المتوقع، أو عالجها لكنه لم يضفها إلى الفهرس.

في هذا الدليل سنسير مع الصفحة خطوة بخطوة من لحظة اكتشافها، وحتى تصبح نتيجة يمكن أن تظهر أمام العميل، مع أمثلة عملية توضح أين يمكن أن تتعطل الرحلة وكيف تعرف المشكلة الحقيقية بدلًا من التخمين.

كيف يعمل محرك البحث جوجل باختصار؟

لو أردنا تلخيص كيف يعمل محرك البحث جوجل من منظور صفحة موجودة على موقعك، فالرحلة يمكن فهمها بهذا الشكل:

لكن هناك قاعدة مهمة:

المرور بمرحلة لا يضمن المرور بالمرحلة التالية.

Google توضح صراحة أنها لا تضمن Crawling أوIndexing أوServing لأي صفحة حتى لو كانت الصفحة ملتزمة بإرشادات Google Search Essentials.

How Google Search Works

وهذا يفسر لماذا لا يكفي نشر المقال فقط، لأن النشر يجعل الصفحة موجودة على موقعك لكنه لا يخبرنا بما حدث لها بعد ذلك داخل Google.

كيف يعمل محرك البحث جوجل عند اكتشاف صفحة جديدة؟

أول خطوة في فهم كيف يعمل محرك البحث جوجل هي URL Discovery.

لا يوجد Registry مركزي يحتوي على كل صفحات الإنترنت، لذلك Google يحتاج باستمرار إلى اكتشاف صفحات جديدة وصفحات تم تحديثها.

وتوضح Google أن اكتشاف URLs يمكن أن يحدث بعدة طرق.

قد يجد Google رابطًا داخل صفحة يعرفها بالفعل يقوده إلى صفحة جديدة، وقد يكتشف الصفحة من خلال Internal Link موجود في Category Page أوHub أومقال آخر، كما يمكن أن يعرف عنها من خلال Sitemap.

أما إذا كان URL معروفًا بالفعل، فقد يعود Google إليه لاحقًا لمعرفة ما إذا تم تحديث محتواه.

مثال بسيط :

لنفترض أنك نشرت مقالًا جديدًا والمقال لا يظهر في القائمة الرئيسية ولا توجد أي صفحة أخرى داخل الموقع تشير إليه ولم يدخل إلى Sitemap.

المقال موجود تقنيًا، ويمكن لأي شخص فتحه إذا كان يعرف الرابط، لكنك جعلت الطريق إلى اكتشافه أصعب.

أما إذا أضفت Internal Link من صفحة مرتبطة بالموضوع وأصبح URL موجودًا داخل Sitemap، فأنت توفر طرقًا أوضح لاكتشاف الصفحة.

لكن هذا يقودنا إلى: اكتشاف الصفحة لا يعني فهرستها.

هل Sitemap تجعل Google يكتشف صفحاتك؟

نعم، يمكن أن تساعد لكن فهم دور Sitemap ضروري لفهم كيف يعمل محرك البحث جوجل بصورة صحيحة.

Google تصف Sitemap بأنها ملف تخبر من خلاله محركات البحث بالصفحات والفيديوهات والملفات المهمة داخل الموقع والعلاقات بينها.

وتكون Sitemap مفيدة بشكل خاص في مواقع كبيرة، أو مواقع جديدة لديها عدد قليل من الروابط الخارجية، أو مواقع تحتوي على صفحات يصعب الوصول إليها عبر الـNavigation والروابط الداخلية.

الـ Sitemap تقول لـGoogle: هذه URLs أريدك أن تعرف بوجودها فقط.

Google توضح صراحة أن وجود الصفحة داخل Sitemap لا يضمن Crawling أوIndexing.

ولهذا لا يجب التعامل مع Sitemap كحل سحري لأي صفحة لا تظهر.

كيف يعمل محرك البحث جوجل أثناء Crawling؟ وما دور Googlebot؟

بعد اكتشاف URL نصل إلى مرحلة Crawling وهنا يظهر Googlebot.

Googlebot هو الاسم المستخدم لبرامج الزحف التابعة لـGoogle Search، وهي البرامج التي تطلب صفحات الويب للحصول على المحتوى الموجود بها.

لكن Googlebot لا يزور كل URL يتم اكتشافه فورًا ولا يزحف إلى جميع المواقع والصفحات بالمعدل نفسه.

Google توضح أن عملية الـ Crawling تتم Algorithmically؛ حيث تحدد أنظمتها المواقع التي ستتم زيارتها، ومدى تكرار الزيارة، وعدد الصفحات التي سيتم جلبها، مع محاولة عدم إرسال Requests بسرعة يمكن أن تؤثر على خادم الموقع.

فإذا كان موقعك يحتوي على 10,000 URL، إرسال Sitemap بها لا يعني أن Google سيزحف فورًا إلى العشرة آلاف.

ما الذي قد يمنع Googlebot من الوصول إلى الصفحة؟

من أمثلة المشكلات التي تذكرها Google:

• قواعد robots.txt تمنع Crawling
• الصفحة لا يمكن الوصول إليها إلا بعد تسجيل الدخول
• Server Problems
• Network Issues
• أخطاء من الخادم مثل بعض حالات 5xx

وهنا نحتاج إلى تثبيت فرق مهم:

Crawling يعني وصول Google إلى الصفحة.

Indexing يعني قرارًا ومعالجة أخرى تأتي بعد ذلك.

كيف يعمل محرك البحث جوجل مع robots.txt؟ وهل يمنع ظهور الصفحة؟

هنا يقع واحد من أشهر الأخطاء التقنية، فالبعض يتعامل مع robots.txt باعتباره أداة لمنع صفحة من الظهور في Google.

لكن Google توضح أن robots.txt يُستخدم أساسًا لتحديد URLs التي يستطيع Crawler الوصول إليها، ولإدارة حركة Crawling على الموقع.

وتقول Google بوضوح أن robots.txt ليس الوسيلة المناسبة لإبقاء صفحة ويب خارج Google Search.

إذا كان هدفك منع صفحة من الفهرسة، فهناك أدوات مختلفة مثل noindex.

Google توضح أن noindex يخبر محركات البحث التي تدعمه بعدم إضافة المحتوى إلى الفهرس وعدم عرضه في Search.

لكن هنا توجد نقطة مهمة جدًا: لكي يقرأ Google قاعدة noindex الموجودة داخل الصفحة، يجب أن يستطيع Googlebot الوصول إليها.

إذا حجبت URL من Crawling باستخدام robots.txt، قد لا يتمكن Google من الوصول إلى الصفحة وقراءة noindex الموجود بها.

لذلك:

robots.txt يتحكم أساسًا في Crawling.

noindex يطلب منع Indexing والظهور في Search.

والخلط بين الاثنين ممكن أن يؤدي إلى نتيجة مختلفة عن التي تريدها.

كيف يعمل محرك البحث جوجل أثناء Rendering؟

الـRendering من أهم المراحل لفهم كيف يعمل محرك البحث جوجل على المواقع الحديثة، فبعض المواقع لا ترسل كل المحتوى داخل الـHTML الأولي.

قد يتم تحميل:

• المنتجات
• النصوص
• الأسعار
• الروابط
• أقسام كاملة من الصفحة

بعد تشغيل JavaScript.

Google Search يستطيع تشغيل JavaScript باستخدام Web Rendering Service يعتمد على Chromium حديث، ثم يستخدم الـRendered HTML في معالجة المحتوى واستخراج الروابط.

ولهذا، في المواقع المعتمدة على JavaScript يمكن أن نفهم المسار بصورة أكثر تفصيلًا:

• Crawling
• Rendering
• Indexing

مثال

لديك Category Page تحتوي على 30 منتجًا، زعندما يفتح المستخدم الصفحة في Browser تظهر المنتجات كلها بصورة طبيعية لكن أسماء المنتجات وروابطها يتم إنشاؤها بالكامل باستخدام JavaScript.

أنت كمستخدم ترى الصفحة سليمة لكن السؤال المهم في الـ SEO هو: ماذا يرى Google بعد Rendering؟

Google توضح أنه إذا لم يكن المحتوى ظاهرًا داخل الـRendered HTML، فلن تستطيع فهرسته.

وهذا يعني أنه إذا كانت الصفحة تعمل بالنسبة لك، ليس دليلًا كافيًا على أن Google يرى كل محتوى الصفحة بالطريقة نفسها.

كيف تعرف ماذا يرى Google داخل الصفحة؟

واحدة من الأدوات المهمة هنا هي URL Inspection داخل Google Search Console.

الأداة تسمح لك بمعرفة معلومات عن النسخة التي يعرفها Google من URL، واختبار نسخة Live من الصفحة، وفحص بعض معلومات Crawling وIndexing.

كما يمكنك الوصول إلى معلومات عن الصفحة التي تم Crawling لها، ومنها الـHTML وبعض الموارد والـJavaScript output، بالإضافة إلى رؤية الـRendered version في الحالات التي تدعمها الأداة.

وهذا مهم خصوصًا عندما تشك في أن:

• جزءًا من المحتوى لا يظهر لـGoogle
• JavaScript لا يعمل بالشكل المتوقع
• الصفحة تختلف بين ما يراه المستخدم وما يعالجه Google

كيف يعمل محرك البحث جوجل أثناء Indexing؟

بعد Crawling ومعالجة الصفحة نصل إلى Indexing وهذا هو الجزء المركزي في شرح كيف يعمل محرك البحث جوجل.

في هذه المرحلة تحاول Google فهم محتوى الصفحة وتوضح أن Indexing يشمل معالجة وتحليل:

• النصوص
• الصور
• الفيديوهات
• عناصر مثل "<title>"
• بعض Attributes المهمة المرتبطة بالمحتوى

الفهرس ليس مجرد Folder تحفظ Google بداخله نسخة من كل صفحة قامت بزيارتها.

Google تحلل الصفحة وتحفظ معلومات عنها داخل Google Index، وهي قاعدة البيانات التي تُستخدم فيما بعد عندما يقوم شخص بعملية بحث.

مثال

لديك صفحة خدمة بعنوان: تصميم متاجر إلكترونية

وجود URL وحده غير كافٍ.

Google يحتاج إلى معالجة الصفحة وفهم محتواها وموضوعها والعناصر الموجودة فيها، حتى يستطيع لاحقًا تحديد ما إذا كانت مرتبطة بعملية بحث معينة.

لكن الوصول إلى مرحلة المعالجة لا يضمن أن الصفحة ستدخل الفهرس.

Google نفسها تذكر أن Indexing غير مضمون، ومن المشكلات التي يمكن أن تمنع الفهرسة:

• انخفاض جودة المحتوى.
• وجود Robots Meta Rules تمنع Indexing.
• تصميم الموقع بطريقة تجعل عملية Indexing أكثر صعوبة.

هل كل صفحة يصل إليها Googlebot تدخل الفهرس؟

لا، وهذه واحدة من أهم النقاط عند فهم كيف يعمل محرك البحث جوجل:

Crawled ≠ Indexed

قد يزور Googlebot URL ويحصل على Response ناجح، ومع ذلك لا تتم فهرسة الصفحة.

وحتى HTTP Status Code بقيمة 200 OK لا يعني أن الصفحة أصبحت Indexed.

Google توضح أن استجابة 2xx تجعل المحتوى مؤهلًا للانتقال إلى Processing، لكن Indexing نفسها ليست مضمونة.

فإذا كان Search Console يخبرك مثلًا أن الصفحة:

Crawled – currently not indexed

فإعادة إرسال Sitemap مرارًا ليست بالضرورة الحل.

لأن Google يعرف الـ URL بالفعل، ووصل إليها فالمشكلة لم تعد ببساطة أنه لا يعلم الصفحة، يجب أن تبحث في مرحلة أخرى من الرحلة.

كيف يعمل محرك البحث جوجل عند اختيار الـCanonical؟

أثناء Indexing يحدث جزء مهم جدًا من كيف يعمل محرك البحث جوجل وهو Canonicalization.

قد يجد Google أكثر من URL يعرض نفس المحتوى أو محتوى شديد التشابه.

مثلًا:

• "example.com/product"
• "example.com/product?color=black"
• "example.com/product?utm_source=email"

أو:

• صفحات Filters
• Sorting URLs
• نسخ HTTP وHTTPS
• URLs مختلفة تؤدي إلى محتوى متشابه

Google يجمع الصفحات المتشابهة في مجموعة أوCluster، ثم يختار URL يعتبره النسخة الأكثر تمثيلًا، ويسمى هذا URL بالـCanonical.

يمكنك إعطاء Google إشارات عن النسخة التي تفضلها باستخدام وسائل مثل:

• Redirects
• "rel="canonical""
• Sitemap
• الربط الداخلي بصورة متسقة إلى الـCanonical URL

Google تعتبر Redirects و"rel="canonical"" إشارات قوية، بينما Sitemap إشارة أضعف، ويمكن أن تتراكم الإشارات معًا.

لكن توجد نقطة مهمة:

الـCanonical الذي تحدده أنت ليس أمرًا إجباريًا على Google.

Google قد تختار URL مختلفًا إذا اعتبرته النسخة الأكثر تمثيلًا للمجموعة ولهذا قد ترى داخل Search Console:

User-declared canonical: صفحة معينة.

لكن:

Google-selected canonical: صفحة مختلفة.

هنا المشكلة ليست أن Google لم يجد الصفحة، بل Google وجد مجموعة صفحات متشابهة واختار نسخة أخرى لتكون الأساسية.

كيف يعمل محرك البحث جوجل مع Sitemap؟ وهل تضمن الفهرسة؟

وجود الصفحة في Sitemap لا يضمن الـ Indexing.

Google توصي بإدراج URLs التي تريد رؤيتها في نتائج البحث داخل Sitemap، ويفضل أن تكون URLs التي تعتبرها الـCanonical Versions.

لكن Sitemap تظل إشارة ومصدر Discovery وليست أمرًا للفهرسة.

فكر فيها كأنك تقول: هذه الصفحات المهمة الموجودة، وليس: يجب أن تدخل هذه الصفحات Google.

وهذا فرق أساسي في فهم كيف يعمل محرك البحث جوجل؛ لأن كثيرًا من مشكلات Indexing لا يكون حلها إعادة إرسال Sitemap، بل تشخيص سبب عدم تقدم الصفحة إلى المرحلة التالية.

ماذا يعني أن الصفحة Indexed؟

إذا كانت الصفحة Indexed، فهذا يعني أن Google قام بزيارتها أو معالجتها وفهم معلومات عنها وأضافها إلى Google Index، وبالتالي أصبحت مؤهلة للظهور في Search وفق الشروط الأخرى.

لكن هناك فرق مهم جدًا بين:

Eligible to appear

و:

Actually appears for the query you want

Google Search Console توضح أن ظهور رسالة: URL is on Google

لا يضمن أن URL سيظهر بالفعل لأي عملية بحث تقوم بها وهذا يقودنا إلى آخر مرحلة.

كيف يعمل محرك البحث جوجل عند عرض النتائج؟

عندما يكتب المستخدم Query، لا يبدأ Google في Crawling الإنترنت كله في تلك اللحظة.

بعد أن تم بناء الفهرس مسبقًا، تبحث أنظمة Google داخله عن الصفحات المطابقة وتحاول تقديم النتائج الأعلى جودة والأكثر ارتباطًا بعملية البحث.

وتوضح Google أن تحديد Relevance يمكن أن يعتمد على مئات العوامل، بما في ذلك سياق مثل:

• موقع المستخدم
• اللغة
• الجهاز المستخدم

مثلًا:

إذا بحث شخص عن: شركة صيانة تكييف

وهو موجود في دبي، فقد يحتاج إلى نتائج مختلفة عن شخص يكتب البحث نفسه من القاهرة.

كما أن شكل Search Results نفسه قد يتغير حسب الـQuery.

بحث محلي قد يعرض Local Results، وبحث بصري قد تظهر فيه Images بصورة أكبر.

Google توضح أن Search Features التي تظهر تتغير حسب طبيعة الاستعلام.

لكن هنا يجب أن نفرق بين سؤالين: كيف تصل الصفحة أصلًا إلى مرحلة يمكن أن تظهر فيها؟

وهذا هو موضوع المقال الحالي.

و:

لماذا يضع Google صفحة في المركز الأول وصفحة أخرى في المركز العاشر؟

وهذا شرحناه بالتفصيل في مقال:

ما الفرق بين Crawling وIndexing وRanking؟

بعد فهم كيف يعمل محرك البحث جوجل، يمكن تلخيص رحلة الصفحة بهذا الجدول:

وهنا تصبح معرفة كيف يعمل محرك البحث جوجل أداة تشخيص، وليست معلومة نظرية فقط.

لأنها تحول المشكلة من: عدم ظهور الصفحة، إلى: في أي مرحلة توقفت الصفحة؟

كيف تستخدم Search Console لفهم كيف يعمل محرك البحث جوجل على صفحتك؟

بدل التخمين، تستطيع استخدام Google Search Console لمعرفة جزء كبير مما حدث للـURL.

1. ابدأ بـURL Inspection

توضح أداة URL Inspection معلومات مثل:

• كيفية اكتشاف Google للـURL
• حالة Crawling
• آخر Crawl معروف
• حالة Indexing
• User-declared Canonical
• Google-selected Canonical
• بعض أسباب عدم Indexing
• معلومات عن الصفحة التي تم Crawling لها

2. استخدم Test Live URL عندما تحتاج إلى النسخة الحالية

المعلومات الأساسية في URL Inspection مرتبطة بالنسخة الموجودة حاليًا داخل Index، وليست بالضرورة الصفحة Live بالشكل الموجود الآن.

إذا قمت بإصلاح مشكلة حديثًا، يمكن أن يساعد Live Test في فحص النسخة الحالية التي يستطيع Google الوصول إليها.

3. لا تعامل Request Indexing كزر سحري

يمكنك طلب إعادة Crawling لعدد محدود من URLs باستخدام URL Inspection.

لكن Google توضح أن:

• طلب Crawling لا يضمن Indexing
• العملية قد تستغرق من أيام إلى أسابيع
• تكرار Request Indexing للـURL نفسه لا يجعله يُزحف إليه أسرع

لو السبب الحقيقي هو noindex أوCanonicalization أومشكلة محتوى أوRendering، الضغط على Request Indexing مرات إضافية لن يحل السبب.

مثال عملي: لماذا صفحة خدمة لا تظهر في Google؟

لنفترض أن لديك شركة تقدم خدمات عزل الأسطح، ونشرت صفحة بعنوان: عزل أسطح في الرياض

لكن بعد فترة لا تجدها في Google، فبدل أن تبدأ مباشرة في إضافة كلمات مفتاحية، استخدم فهمك لـكيف يعمل محرك البحث جوجل لتحدد الاحتمالات.

الاحتمال الأول: Google لم يكتشف URL

الصفحة ليس لها Internal Links واضحة ولم يتم إدراجها بصورة صحيحة ضمن الطرق التي تسهّل Discovery.

المشكلة هنا تبدأ من Discovery.

الاحتمال الثاني: Google اكتشفها لكنه لا يستطيع Crawling

قد يكون robots.txt يمنع الوصول أو توجد Server Errors، هنا تعديل النص داخل الصفحة لن يحل المشكلة.

الاحتمال الثالث: الصفحة تعتمد على JavaScript ومحتواها لا يظهر بعد Rendering

أنت ترى صفحة كاملة في Browser، لكن النسخة التي يستطيع Google معالجتها لا تحتوي على المحتوى الأساسي، المشكلة هنا في Rendering.

الاحتمال الرابع: الصفحة تحمل noindex

Google يستطيع الوصول إليها، لكنه يرى تعليمات بعدم فهرستها، إذن المشكلة في Indexing Directives.

الاحتمال الخامس: Google اختار Canonical مختلفًا

هناك صفحة أخرى قريبة جدًا في المحتوى أوCanonical Signals غير متسقة، لذلك اختار Google URL مختلفًا.

الاحتمال السادس: الصفحة Indexed بالفعل

وهنا يجب ألا تستمر في البحث عن مشكلة Indexing.

قد تكون المشكلة أصبحت في:

• Search Intent
• جودة الصفحة
• مدى صلتها بالبحث
• قوة المنافسين
• Ranking Signals

وهنا تنتقل إلى مرحلة مختلفة تمامًا.

وهذا يوضح لماذا فهم كيف يعمل محرك البحث جوجل يمنعك من إنفاق وقتك على حل لا علاقة له بالمشكلة.

ما الأخطاء التي تمنع Google من التعامل مع الصفحة كما تتوقع؟

بعد فهم كيف يعمل محرك البحث جوجل، تصبح مجموعة من الأخطاء الشائعة أسهل في اكتشافها:

1. نشر صفحة بدون روابط داخلية واضحة ثم انتظار اكتشافها بسرعة.
2. اعتبار Sitemap ضمانًا للفهرسة.
3. استخدام robots.txt عندما يكون الهدف الحقيقي هو منع Indexing.
4. وضع noindex داخل صفحة محجوبة عن Crawling ثم انتظار Google أن يقرأ التعليمات.
5. الاعتماد على JavaScript لمحتوى أساسي بدون التأكد أن المحتوى يظهر في Rendered HTML.
6. إنشاء URLs متشابهة مع Canonical Signals متعارضة.
7. اعتبار HTTP 200 دليلًا على Indexing.
8. اعتبار "URL is on Google" دليلًا على أن الصفحة يجب أن تظهر لكل Keyword.
9. الضغط على Request Indexing مرارًا بدل إصلاح المشكلة الأساسية.
10. القفز مباشرة إلى Ranking قبل التأكد من Discovery وCrawling وIndexing.

كل مشكلة من هذه المشكلات تحدث في مرحلة مختلفة، وهذا هو السبب في أن التعامل معها جميعًا بنفس الحل غير منطقي.

ما علاقة فهم كيف يعمل محرك البحث جوجل بالـSEO؟

فهم كيف يعمل محرك البحث جوجل يغير طريقة التعامل مع SEO بالكامل، فبدل أن تبدأ بقائمة طويلة من Tasks، تستطيع أولًا معرفة مكان المشكلة.

وهذا هو الفرق بين عمل Technical Audit لمجرد استخراج قائمة أخطاء، وبين تشخيص المشكلة التي تمنع الموقع فعلًا من تحقيق النتيجة.

عن الكاتب

عبد الله بخيت

متخصص SEO بخبرة عملية في تحسين المواقع والمتاجر وصفحات الخدمات، ويعمل على بناء استراتيجيات تساعد العلامات التجارية على الظهور والنمو وتحقيق نتائج قابلة للقياس.

عرض جميع المقالات