رفع خطاهای خزنده گوگل در ابزار گوگل وبمستر تولز

داشتن هزاران خطا 404 خصوصاً آن‌هایی که متعلق به آدرس‌های نمایه شده یا لینک شده به صفحات دیگر هستند، به‌صورت بالقوه باعث آزار کاربران شما می‌شود. اگر آن‌ها وارد چندین صفحه 404 در یک بخش شوند، اعتمادشان نسبت به وب سایت شما کاهش می‌یابد و البته باعث ناامیدی می‌شود.
 

همچنین نمی‌خواهید که لینک‌های ارسالی از سوی وب سایت های دیگر را با رسیدن آن‌ها به صفحه‌ای مرده! از دست بدهید. شما می‌توانید با اصلاح خطا جستجو و ارسال آن به سمت آدرسی صحیح باعث بهبود رنک خود شوید.

علاوه بر این، گوگل بودجه جستجو مشخصی را برای وب سایت شما در نظر گرفته است و اگر مقدار زیادی از زمان ربات خزنده صرف جستجو صفحات خطای نوبت، زمان کافی برای به دست آوردن اطلاعات باارزش صفحاتی که واقعاً کار می‌کنند را ندارد.

بخش اصلی خطاهای جستجو که توسط ابزار Google Webmaster گزارش‌شده است در پایین آمده است:

خطای HTTP

این بخش معمولاً صفحاتی را که خطاهایی مانند صفحات 403 را دارا می‌باشند ، نشان می‌دهند. برای کسب اطلاعات بیشتر از لیست همه‌ی کدهای HTTP ، صفحه راهنمای گوگل خود را بررسی کنید.

اغلب خطاها در نقشه وب سایت توسط نقشه‌های وب سایت قدیمی ایجاد می‌شوند که همچنان به‌صورت 404 هستند یا صفحه‌های لیست شده در نقشه وب سایت فعلی به یک خطا 404 می‌رسند. اطمینان حاصل کنید که تمامی لینک‌های موجود در نقشه وب سایت شما به‌خوبی کار می‌کنند و برای جستجوگر گوگل مفید هستند.

ذکر این نکته نیز ضروری به نظر می‌رسد که sitemap تا فقط توسط ربات‌های جستجوگر استفاده می‌شوند.

یکی از کارهای طاقت‌فرسای گوگل این است که نقشه‌های قدیمی وب سایت را که حذف کرده‌اید، بررسی می‌کند تا نقشه‌های وب سایت و آدرس‌هایی که واقعاً حذف‌شده‌اند را بیاید. اگر نقشه وب سایت قدیمی دارید که از ابزار Google Webmaster حذف کرده‌اید، و دوست ندارید که مورد جستجو قرار گیرد، مطمئن شوید که آن نقشه 404 به نقشه وب سایت فعلی شما redirect نشود.
 

به گفته یکی از کارمند گوگل:

بهترین راه برای جلوگیری از مورد جستجو قرار گرفتن آدرس‌ها و نقشه‌های قدیمی وب سایت توسط روبات گوگل، این است که آن‌ها را تبدیل به 404 کنید. اگر ما ببینیم که آدرسی به‌طور پی‌درپی 404 می‌شود، از جستجو کردن آن دست می‌کشیم، و سپس جستجوی نقشه وب سایت را متوقف می‌کنیم، این کار را از تب all sitemaps انجام دهید.

خطای Not Followed

بیشتر این خطاها اغلب از خطاهای redirect به وجود می‌آیند. اطمینان حاصل کنید که زنجیره redirect را حداقل کرده‌اید، زمان redirect برای بازه کوتاهی تنظیم شود و از meta refreshes در بالای صفحات خود استفاده نکنید. 

نتایج و آثار redirect کردن:

– هنگامی‌که صفحات را برای همیشه redirect می‌کنید، مطمئن شوید که آن‌ها به کد HTTP موردنظر برمی‌گردند (301 برای انتقال دائمی).

– مطمئن شوید که حلقه‌ی redirect ندارید، یعنی نقاط redirect به خودشان بازگردند!

– اطمینان حاصل کنید که نقاط را صفحات درستی redirect کنید نه صفحات 404 یا دیگر صفحاتی که خطادارند مانند (server error یا 403 forbidden).

– مطمئن شوید که redirect های شما در حقیقت به یک صفحه‌ی دارای محتوا برسد.
 

ابزارهای مورداستفاده:

– Redirect های خود را با ابزاری برای چک کردن پاسخ header مانند URL Valet یا Check Server Headers Tool بررسی نمایید.

– Screaming Frog ابزاری عالی برای چک کردن صفحاتی از وب سایت شما است که redirect 301 و خطا 404 و 500 را نشان می‌دهند. نسخه رایگان آن 500 صفحه را پوشش می‌دهد، اگر نیازی بیشتر از این دارید باید نسخه نهایی آن را بخرید.

– Search Engine Indexing Checker ابزاری بسیار مفید است که شما می‌توانید فهرستی از آدرس‌هایتان که به‌عنوان redirect ثبت کرده‌اید را در آن قرار دهید. این ابزار به شما این اجازه را می‌دهد که آدرس‌هایتان را در فضایی بررسی کنید تا ببینید کدامشان نمایه شده است و کدامشان نه. اگر آدرس‌های اولیه شما که redirect شده‌اند دیگر نمایه نیستند به این معنی است که گوگل بعد از مشاهده redirect 301، آدرس قبلی را از لیست نمایه‌اش خارج کرده است و شما نیز می‌توانید آن را از خط redirect فایل .htaccess پاک نمایید.

وب سایت خود را به‌صورت فقط متن (با مشاهده نسخه کَش وب سایت از لیست SERP گوگل) آزمایش کنید. مطمئن شوید که می‌توانید تمامی لینک‌هایتان را ببینید و هیچ لینکی توسط جاوا اسکریپت، فلش، کوکی تا، شماره بخش‌ها، DHTML و فریم تا پنهان نشده است.

همواره از لینک‌های مستقل و نه لینک‌های وابسته استفاده کنید. اگر ویرایشگرهای مخرب مطالب، روی عکس‌ها و لینک‌های شما اثر می‌گذارند می‌توانند به لینک‌های وابسته شما ارجاع دهند و اگر به شکل نادرستی تجزیه شود ممکن است شما نتوانید خطاهای نمایان شده در ابزار Google Webmasterتان را ببینید، این خطاها ممکن است دریکی از وب سایت های ما اتفاق بیفتد و معمولاً شناسایی لینک اصلی که باعث این خطا شده است غیرممکن است.

خطای Not Found

– خطاهای Not Found بخش بزرگی از خطاهای وب سایت شمارا شامل می‌شود. خطاهای 404 می‌توانند از طرق محدودی رخ دهند:

– شما صفحه‌ای از وب سایت تان را حذف کرده‌اید و آن را redirect 301 نکرده‌اید.

– شما نام صفحه‌ای را در وب سایت تغییر داده‌اید و آن را redirect 301 نکرده‌اید.

– شما مشکل تایپی در لینکی داخلی روی وب سایت دارید که لینک می‌دهد به صفحه‌ای که وجود ندارد.

– شخص دیگری از وب سایت دیگری به سایت شما لینک می‌دهد اما در لینکشان مشکل تایپی وجود دارد.

– شما وب سایت را به دامنه‌ای جدید منتقل کرده‌اید و زیرپوشه تا دقیقاً منطبق نیستند.

بهترین راه‌حل:

اگر لینک‌های خوبی را به صفحه 404 داده‌اید، بایستی آن‌ها را redirect 301 کنید به صفحه‌ای که باید باشد، یا اگر آن صفحه حذف‌شده است بایستی به صفحه‌ای مشابه redirect 301 کنید. نیازی نیست که همه‌ی صفحات 404 را redirect 301 کنید. این کار درواقع اگر redirect های زیادی دارید باعث کاهش سرعت وب سایت شما می‌شود. اگر صفحه قدیمی یا دسته بزرگی از صفحات که می‌خواهید کاملاً پاک شوند، در وب سایت دارید، بدون هیچ مشکلی آن‌ها را به حالت 404 باقی بگذارید. این درواقع راه پیشنهاد گوگل است که اجازه می‌دهد ربات خزنده‌اش بداند چه صفحاتی را شما دیگر نمی‌خواهید. 

خطای Restricted by robots.txt

این خطاها بیشتر اطلاعاتی هستند باوجوداینکه نشان می‌دهد که تعدادی از آدرس‌های شما توسط فایل robot.txt تان بلاک شده است لذا اولین گام این است که فایل robot.txt را بررسی کنید و مطمئن شوید که دقیقاً کدام‌یک از آدرس‌هایی که لیست شده‌اند را مایلید بلاک کنید.

گاهی اوقات آدرس‌هایی لیست شده است که به‌طور واضح توسط robot.txt بلاک نشده است. چراکه امکان دارد بعضی از آن‌ها به دلایل عجیب‌وغریبی بلاک شده باشند. روشی خوب برای فهمیدن این موضوع این است که آدرس‌هایی پرسشی در آدرس پیش‌نویس اجرا شوند و پاسخ کد به آن دیده شود. همچنین فایل .htaccess را چک کنید تا اگر قانونی برای redirect شدن آن آدرس وجود دارد آن را ببینید.

خطای Soft 404

اگر صفحاتی دارید که محتوای کمی دارند ممکن است به‌عنوان soft 404 دسته‌بندی شوند. این دسته‌بندی دلخواه نیست، اگر تمایل دارید که صفحه‌ای 404 شود بایستی مطمئن شوید که نتیجه آن hard 404 است، و اگر صفحه شما به‌عنوان soft 404 لیست شده است و درعین‌حال یکی از صفحات اصلی وب سایت شما است بایستی آن را اطلاع کنید تا مطمئن شوید به خطا ختم نمی‌شود.
 

اگر صفحه‌ای 404 را بازگردانی می‌کنید و به‌صورت soft 404 لیست شده است، به این معناست که کد پاسخ header HTTP کد پاسخ Not Found صفحه 404 را بازگردانی نمی‌کند. پیشنهاد گوگل را نیز بخوانید.

هنگامی‌که برای یکی از مشتریانمان مشغول redirect کردن هزاران آدرس خراب به صفحه‌ای موقتی بودیم که فقط یک عکس و مقدار کمی متن داشت، دسته‌ای از این خطاها را مشاهده نمودیم. گوگل این را به‌عنوان یک صفحه 404 رایج در نظر گرفت حتی بااینکه landing page بود و تمامی آدرس‌های redirect شده‌اش به‌صورت soft 404 دسته‌بندی‌شده بود.

خطای Timed Out

اگر صفحه‌ای زمان زیادی برای بارگذاری شدن می‌گیرد، ربات خزنده گوگل پس از مدتی از تلاش برای فراخوانی آن دست می‌کشد. گزارش‌های سرورتان را برای هر مسئله‌ای چک کنید و همچنین سرعت بارگذاری صفحاتی که زمان بارگذاری‌شان به پایان می‌رسد را چک کنید.

انواع خطاهای Timed out :

DNS lookup timeout: جستجو ربات خزنده گوگل به سرور دامنه شما نمی‌رسد، تنظیمات DNS را چک کنید. گاهی اوقات اگر همه‌چیز درست باشد پایان گوگل فرامی‌رسد. Pingdom ابزار بسیار خوبی برای چک کردن سلامت DNS دامنه شما دارد و هر مشکلی که به وجود آید را به شما اعلام می‌کند.

URL-Timeout : خطای از صفحات بخصوصی از وب سایت نه از همه‌ی دامنه.

Robot.txt Timeout: اگر robot.txt شما وجود دارد اما درزمانی که گوگل آن را جستجو می‌کند، سرور Time out شود، گوگل جستجو وب سایت شمارا تازمان یکه بتواند فایل robot.txt را بررسی کند به تأخیر می‌اندازد تا مطمئن شود آدرس‌هایی که بررسی کرده است قبلاً توسط robot.txt بلاک نشده‌اند. توجه کنید که اگر فایل robot.txt ندارید و گوگل برای یافتن آن با خطا 404 مواجه شود، به جستجو وب سایت ادامه می‌دهد با این فرض که چنین فایلی وجود ندارد.

خطای Unreachable

خطاهای غیرقابل‌دسترس می‌تواند از خطاهای داخلی سرور یا مشکلات DNS نشئت بگیرد. یک صفحه هم می‌تواند به‌صورت غیرقابل‌دسترس باشد اگر robot.txt جستجوگر را از مشاهده آن صفحه منع کرده باشد. خطاهای ممکن در حالت غیرقابل‌دسترس بدون پاسخ، خطا 500 و مشکل DNS هست. 

در پایان این نکته را به یاد داشته باشید که ابزار Google Webmaster گوگل بدون ایراد نیست. درحالی‌که ما قدرت گوگل را به دلیل چیزهایی که می‌بیند تحسین می‌کنیم، ولی همچنان مواردی وجود دارد که نیاز به اصلاح دارند. گوگل بهترین موتور جستجو در جهان است، ولی شما نمی‌توانید تمامی گزارش‌های خطایتان را جستجو کنید تا آدرسی از ماه قبل که شمارا بالا نگه‌داشته بود را پیدا کنید. حداقل آن‌ها می‌توانند گزارش خوبی در این مورد تهیه کنند اما بااین‌حال شما باید به‌صورت دستی روی 20 صفحه کلیک کنید تا به صفحه 21 برسید. یک‌راه دور زدن این مشکل این است که شماره صفحه را با ویرایش آخر رشته آدرسی که بخشی از خطا را نشان می‌دهد، اصلاح کنید. شما می‌توانید تمامی داده تا را در یک فایل اکسل دانلود کنید که بهترین راه‌حل است اما گوگل باید ابزار Google Webmaster را آپدیت کند تا امکان جستجو از درون نرم‌افزار را بدهد.

همچنین صاحب وب سایت باید قدرت پاک کردن تمامی نقشه‌های وب سایت را داشته باشد حتی اگر شخص دیگری یک سال قبل روی وب سایت چیزی بارگذاری کرده باشد. درحالی‌که حاضر شما فقط می‌توانید نقشه وب سایت را که توسط خودتان در ابزار Google Webmaster بارگذاری شده است حذف کنید. اگر سپیده از اصفهان نقشه وب سایت عکسی را یک سال قبل بارگذاری کرده باشد همچنان در تب همه‌ی نقشه های وب سایت نمایش داده می‌شود. راه‌حل رها شدن از شر این مشکل این است که اجازه دهید نقشه وب سایت موردنظر به‌صورت 404 باشد و نهایتاً باعث کمرنگ شدن آن می‌شود.

شاید از زمانی که Bing شروع به بهینه کردن ابزار Google Webmaster خودش کرده است، ما شاهد رقابتی بین دو موتور جستجو باشیم. و نهایتاً روزی شاید بتوانیم کنترل وب سایت خود را در موتورهای جستجو به دست بگیریم.