نتیکو
من دو صفحه از صفحات رتبه بندی خود را با استفاده از robots.txt مسدود کردم. ما موقعیتی را در اینجا یا آنجا از دست دادیم و همه قطعات برجسته برای صفحات را از دست دادیم. انتظار تاثیرات بسیار بیشتری را داشتم، اما دنیا به پایان نرسید.
هشدار
من انجام این کار را توصیه نمی کنم، و کاملاً ممکن است که نتایج شما با نتایج ما متفاوت باشد.
سعی می‌کردم تاثیر حذف محتوا را بر رتبه‌بندی و ترافیک ببینم. تئوری من این بود که اگر صفحات را از خزیدن مسدود کنیم، گوگل باید برای رتبه‌بندی محتوا به سیگنال‌های پیوند تنها تکیه کند.
با این حال، من فکر نمی کنم چیزی که دیدم در واقع تاثیر حذف محتوا بود. شاید اینطور باشد، اما نمی توانم با اطمینان 100٪ این را بگویم، زیرا تأثیر بسیار کوچک به نظر می رسد. من یک آزمایش دیگر برای تأیید این موضوع انجام خواهم داد. برنامه جدید من این است که محتوا را از صفحه حذف کنم و ببینم چه می شود.
تئوری کاری من این است که ممکن است گوگل همچنان از محتوایی که قبلا در صفحه می دید برای رتبه بندی آن استفاده کند. Google Search Advocate جان مولر این رفتار را در گذشته تایید کرده است.
این آزمون تاکنون نزدیک به پنج ماه است که اجرا شده است. در این مرحله، به نظر نمی رسد که گوگل رتبه بندی صفحه را متوقف کند. من گمان می کنم، پس از مدتی، به احتمال زیاد دیگر اعتماد به محتوایی که در صفحه بود هنوز وجود دارد، متوقف می شود، اما من شواهدی از این اتفاق ندیده ام.
برای دیدن تنظیمات و تاثیر تست به خواندن ادامه دهید. نکته اصلی این است که مسدود کردن تصادفی صفحات (که گوگل قبلاً رتبه بندی می کند) از خزیدن با استفاده از robots.txt احتمالاً تأثیر زیادی روی رتبه بندی شما نخواهد داشت و احتمالاً همچنان در نتایج جستجو نشان داده می شوند.
من همان صفحاتی را انتخاب کردم که در مطالعه «تأثیر پیوند» استفاده شد، به جز مقاله قیمت گذاری سئو، زیرا جاشوا هاردویک به تازگی آن را به روز کرده بود. من تأثیر حذف پیوندهای این مقالات را دیده بودم و می خواستم تأثیر حذف محتوا را آزمایش کنم. همانطور که در مقدمه گفتم، مطمئن نیستم که واقعاً این اتفاق افتاده است.
من این دو صفحه را در 30 ژانویه 2023 مسدود کردم:
این خطوط به فایل robots.txt ما اضافه شد:
Disallow: /blog/top-bing-searches/Disallow: /blog/top-youtube-searches/
همانطور که در نمودارهای زیر مشاهده می کنید، هر دو صفحه مقداری ترافیک را از دست دادند. اما آن طور که انتظار داشتم، تغییر زیادی در برآورد ترافیک ما ایجاد نکرد.
با نگاهی به کلمات کلیدی جداگانه، می توانید ببینید که برخی از کلمات کلیدی یک یا دو موقعیت را از دست داده اند و برخی دیگر در حالی که صفحه از خزیدن مسدود شده است، در واقع موقعیت های رتبه بندی را به دست آورده اند.
جالب ترین چیزی که من متوجه شدم این است که آنها تمام قطعه های برجسته را از دست دادند. من حدس می‌زنم که مسدود شدن صفحات از خزیدن باعث می‌شود آنها برای قطعه‌های ویژه واجد شرایط نباشند. وقتی بعداً بلوک را حذف کردم، مقاله جستجوهای Bing به سرعت برخی از قطعات را به دست آورد.
قابل توجه ترین تاثیر روی صفحات بر روی SERP است. صفحات عناوین سفارشی خود را از دست دادند و پیامی نشان دادند که به جای توضیحات متا هیچ اطلاعاتی در دسترس نیست.
این مورد انتظار بود. زمانی اتفاق می افتد که یک صفحه توسط robots.txt مسدود شود. علاوه بر این، اگر URL را بررسی کنید، وضعیت «ایندکس شده، اگرچه توسط robots.txt مسدود شده است» را در کنسول جستجوی Google مشاهده خواهید کرد.
من معتقدم که پیام روی SERP ها بیشتر از افت رتبه به کلیک های صفحات آسیب می زند. می‌توانید مقداری کاهش در برداشت‌ها، اما کاهش بیشتر در تعداد کلیک‌ها برای مقالات مشاهده کنید.
ترافیک برای مقاله «جستجوهای برتر YouTube»:
ترافیک برای مقاله «برترین جستجوهای بینگ»:
افکار نهایی
فکر نمی کنم هیچ یک از شما از تفسیر من در این مورد شگفت زده شوید. صفحاتی را که می خواهید ایندکس شوند مسدود نکنید. درد می کند. آنقدرها هم که فکر می کنید بد نیست – اما هنوز هم درد دارد.
