בעלי אתרים רבים מתמודדים עם הבעיה של איסור יצירת אינדקס של משאבים והסרתם ממנועי החיפוש. בדרך כלל זה קורה מכיוון שהאתר הופך למיושן ולא רלוונטי, המו ל או המבקרים מאבדים עניין באתר, או שהאתר מכיל מידע אישי ואף חסוי.
הוראות
שלב 1
ישנן דרכים רבות להסיר אתר ממנועי חיפוש.
הדרך הראשונה והקלה ביותר למחוק תוצאות שאילתות ממנוע החיפוש היא מחיקת הדף מהאתר עצמו או מחיקה מוחלטת של אתר CMS באמצעות חיבור FTP. בעוד מספר ימים מנוע החיפוש יעדכן את מסד הנתונים ויסיר את הקישור למשאב שלך מתוצאות החיפוש.
שלב 2
הדרך הפופולרית ביותר בקרב מנהלי אתרים להגן על אתר, על החלקים או הדפים הנפרדים ממנו מפני אינדקס, ובכך להסיר קישורים מתוצאות החיפוש, היא לערוך את קובץ ה- robots.txt.
ניתן לסגור דף נפרד מהוספה לאינדקס באמצעות הקוד:
סוכן משתמש: *
אסור: /page.html (סגירת דף העמוד.html)
ישנן הוראות רבות של מחברים כיצד להשתמש בקודים עבור קובץ robots.txt באינטרנט.
שלב 3
הדרך השלישית להסיר דפי אתרים ממנועי חיפוש היא להשתמש בתג המטא של הרובוטים בדפיו. התג כתוב בקוד ה- HTML של הדפים הנסתרים בין התגיות.
לפיכך, לאחר יצירת אינדקס מחדש לאתר PS, דפים עם מטא תג זה ייעלמו מהחיפוש. החיסרון בשיטה זו הוא שאתרים מודרניים רבים משתמשים בתבניות tpl, מה שאומר שתצטרך לשנות את הקוד באופן ידני במאות, אולי אלפי עמודים.
שלב 4
הדרך הרביעית להסיר אתרים ממנועי חיפוש היא באמצעות כותרות X-Robots-Tag. המהות של כותרת זו דומה לשימוש בתגית המטא הקודמת, אולם הערך חייב להיות ממוקם בכותרות
X-Robots-Tag: noindex, nofollow
שלב 5
הדרך היעילה ביותר להסיר אתר (לחלוטין) ממנועי החיפוש היא להסיר אותו מפאנל מנהל האתר. לאחר העדכון (3-7 ימים), האתר לא יהיה נגיש למנוע החיפוש. פאנל מנהל האתר זמין עבור מנועי החיפוש Yandex (https://webmaster.yandex.ru/delurl.xml) ו- Google (https://webmaster.yandex.ru/delurl.xml).
