حل مشکل صفحات ایندکس نشده در سرچ کنسول

یکی از مشکلات و سوالات اساسی که امروزه وب مستران با آن مواجه هستند، بحث Crawled Currently Not Indexed به معنی : کرول شده (خزیده شده توسط موتور های جست و جوی گوگل) اما هنوز ایندکس نشده در گزارش های سرچ کنسول گوگل هستند.

یکی از بخش های اصلی سرچ کنسول گوگل (search console) بخش Coverage آن است که در این قسمت میتوان به تفصیل گزارش و وضعیت صفحات سایت را مورد بررسی قرار داد.

بخش Coverage  سرچ کنسول

یکی از مشکلات و سوالات رایج سئو کار ها و وب مستران در رابطه با بخش Crawled Currently Not Indexed از زیر مجموعه بخش Coverage  سرچ کنسول است.

دلایل مختلفی مبنی بر ایندکس نشدن صفحات بعد از کرول شدن توسط خزنده های گوگل وجود دارد که ما در ادامه به صورت موردی هر یک از این دلایل به همراه راه کار های آنها را مورد بررسی قرار خواهیم داد.

1- آدرس های حذف شده

میزان اهمیت : پایین

یکی از موارد رایج و معمولی که شما میتوانید برچسب Crawled Currently Not Indexed را برای صفحات و آدرس های خود مشاهده کنید، برای آدرس هایی است که توسط گوگل کرول و ایندکس شده و بعد از مدتی این آدرس ها توسط وبمستر حذف شده اند. در این مورد، گوگل این ادرس ها را برای مدتی در دیتا بیس خود ذخیره کرده و تحت عنوان "کرول شده اما هنوز ایندکس نشده" برچسب گذاری میکند.

راه حل : در این مورد مشکلی وجود ندارد و شما لازم نیست کاری انجام دهید.

2- آدرس های فید RSS

میزان اهمیت : پایین

یکی از رایج ترین مواردی که آدرس های صفحات سایت شما با Crawled Currently Not Indexed برچسب گزاری میشود و این صفحات ایندکس نمیشوند، مواقعی است که شما از RSS یا همان خوراک فید استفاده میکنید، معمولا گوگل URL هایی را که حاوی کلمه feed هستند و صفحاتی از جنس xml را که محتویات rss در آن قرار میگرد، کرول کرده اما آنها را ایندکس نمیکند. این صفحات با عنوان " کرول شده اما هنوز ایندکس نشده" در سرچ کنسول گوگل برچسب گذاری و نمایش داده میشوند.
آدرس های feed به دلیل اینکه محتوایی را برای کاربران در نظر نمیگیرید، توسط ربات های گوگل ایندکس نمیشوند. در تصویر زیر یک نمونه از فایل rss را مشاهده میکنید :

راه حل : در این مورد مشکلی وجود ندارد و شما لازم نیست کاری انجام دهید.

3- صفحات پیجر ها

میزان اهمیت : پایین

از رایج ترین مواردی که در زمره صفحات برچسب گذاری شده با Crawled Currently Not Indexed " کرول شده اما هنوز ایندکس نشده" در سرچ کنسول قرار میگرند، صفحات پیجر ها هستند. صفحات دسته بندی و محصولاتی که از پیجر ها استفاده میکنند.

راه حل : در این مورد مشکلی وجود ندارد و شما لازم نیست کاری انجام دهید.

نکته1 : این دغدغه و سوال برای بسیاری از وبمستران و سئو کاران وجود دارد که اگر صفحات پیجر های دسته بندی های محصولات و مقالات آنها ایندکس نشود، چگونه محتویات درون این صفحات ایندکس خواهد شد؟ در این رابطه باید بگوییم که گوگل برای دسترسی به محتویات صفحات مقالات و محصولات و به طور کل هر آن چیزی درون صفحات پیجر وجود دارد، از این صفحات استفاده میکند، اما احتیاجی به ایندکس کردن خود صفاحت پیجر ندارد و ایندکس نشدن این صفحات هیچ صدمه ای را به سئوی سایت شما وارد خواهد کرد.

نکته2: پیشنهاد میشود در صفحات پیجر حتما از تگ های کنونیکال (canonical) استفاده کنید!

4- محصولات تمام شده یا ناموجود

میزان اهمیت : متوسط

این مشکل معمولا در سایت های فروشگاهی رخ میدهد! یکی از موارد رایجی که در صفحات محصولات و آدرس های محصولاتی که با برچسب عدم ایندکس گوگل مواجه میشوند، صفحات محصولاتی است که گوگل با مشاهده کلماتی مثل : موجود نیست! اتمام موجودی و... و یا به هر طرق دیگری که تشخیص دهد آن محصول موجود نیست، آن صفحه را از ایندکس خود خارج میکند. البته در موارد متعددی مخصوصا در وب زبان انگلیسی بار ها مشاهده شده که در صفحه محصولی، کلماتی مثل : عدم موجودی مشاهده نمیشود، اما گوگل با روش های متعددی، مثل میزان صفحات بازدید شده سایت بر انتقال کاربر به صفحه پرداخت یا سبد خرید و...تشخیص میدهد که این کالا موجود نمیباشد.

یکی از فیلد های ux پیشرفته گوگل نیز اقدامات اینچنینی به شمار میرود، حذف صفحاتی که محتویات قابل قبول برای کاربران خود ندارند.

خب بخ طبع این مورد گاها میتواند برای سئوی سایت مشکل ساز شود، موارد متعددی که امکان موجود کردن صفحه بعد از مدتی فراهم شود، یا گاها محصولاتی که به صورت غیر اینرنتی پرداخت و خرید میشوند و... . زمانی که خطای Crawled Currently Not Indexed برای صفحه ای رخ میدهد، آن صفحه به طور کل از نتایج گوگل حف میشود، و این مورد گاها میتواند برای استراتژی های سئوی سایت شما مخرب باشد.

راه حل : اصلی ترین راه حل در این مواقع، چک کردن برای موجود بودن همیشگی محصولات و متصل بودن درگاه پرداخت و صفحات سبد خرید است.

یکی دیگر از روش های حل مشکل ایندکس نشدن صفحات در گوگل، استفاده از استراکچر دیتاها و (schema) ها برای نمایش موجود بودن محصولات برای خزنده های گوگل است.

5- صفحات ریدایرکت شده (ریدایرکت های 301)

میزان اهمیت : متوسط

یکی از موارد جالبی که در بررسی های متعدد با آن مواجه شدیم، قرار گرفتن صفحات مقصد در ریدایرکت های 301 در بین صفحات "خزیده اما ایندکس نشده یا همان Crawled Currently Not Indexed" بود. اگر شما صفحاتی داشته باشید که آنها را با استفاده از ریدایرکت های 301 به صفحات دیگری هدایت کرده باشید، با جست و جوی عبارت مورد نظر و مشاهده نتایج جست و جو، مشاهده خواهید کرد که هنوز آدرس صفحه مبدا در بین نتایج است و با کلیک بر روی آن طبیعتا به صفحه مقصد منتقل خواهید شد، اما گوگل تا مدت زیادی (مدتی نزدیک به یک سال) آدرس صفحه مقصد را در حالت ایندکس نشده قرار میدهد.

راه حل : ایجاد یک سایت مپ (نقشه سایت) درست

اگر تعداد صفحات ریدایرکت شده شما زیاد است و گوگل تمامی یا اکثر صفحات مقصد شما را ایندکس نکرده است، این مسئله را جدی بگیرید. در این مواقع استفاده از سایت مپ درست که آدرس صفحات مقصد در ریدایرکت در آنها قرار دارد میتواند به شما کمک کند.

6- محتوای ضعیف

میزان اهمبت : متوسط

یکی از مواردی که امروزه بیشتر در وب فارسی مشاهدم میشود و بسیاری از وب مستران و سئوکار ها با آن مواجه هستند، ایندکس نشدن صفحاتی از سایت آنهاست که از دید خود تمامی فاکتور های مهم سئو را رعائیت کردند و گاها بک لینک های خوبی هم برای این صفحات دریافت کرده اند. در بررسی هایی که ما در کیس های مختلفی از سایت های مختلف داشته ایم در اکثر اوقات این صفحات، صفحاتی بوده اند که دارای محتوای کمی بوده اند. ببه عنوان مثال به تصویر زیر دقت کنید :

راه حل : افزودن محتوای بیشتر به این صفحات

اگر میوخاهید که این صفحات حتما ایندکس شوند و این صفحات برای شما حائز اهمیت هستند، یکی از راه حل های کاربردی و تست شده برای حل مشکل عدم ایندکس صفحات این چنینی، تولید محتوای بیشتر برای این صفحات و دریافت چند بک لینک با کیفیت برای این صفحات است.

7- محتوای تکراری

اولویت : زیاد

• قسمتی از متن خود را کپی کرده و در گوگل سرچ کنید.
• تعداد نتایج صفحات گوگل را روی 100 بگذارید تا تمامی نتایج 10 صفحه در همان صفحه نمایش داده شود.
• در بین نتایج به دست آمده، با جست و جو در قسمت find مرورگر خود، عبارت را در صفحه جست و جو کنید.
• اگر عبارت خود را عینا در نتایج پیدا کردید، مقاله شما کپی است.