המשימה להסיר דפים בודדים או את האתר כולו ממנועי החיפוש עומדת בפני מנהל אתרים בעת שינוי מידע, שינוי דומיין, שילוב של כמה משאבים ומספר סיבות נוספות. ישנן מספר דרכים לפתור את הבעיה, תלוי בתוצאה הרצויה.
הוראות
שלב 1
מחק את העמוד שיש להוסיף לאינדקס כדי שהשרת יחזיר הודעת שגיאה כאשר הוא מנסה לנווט לדף האינטרנט שנבחר HTTP / 1.1 404 לא נמצא. כדי להחיל את השינויים שנבחרו, עליך להמתין לרובוט לגישה חוזרת לדף הנדרש.
שלב 2
השתמש בקובץ הבסיס של הרובוט robots.txt כדי לא לכלול קטעים או דפים שנבחרו מאינדקס של מנועי חיפוש. כדי למנוע את הצגת חלונית הניהול במנוע החיפוש, השתמש בפקודה: User-Agent: * Diaallow: / admin / Or, כדי לא לכלול את העמוד שנבחר מהוספה לאינדקס, הזן את הערך: User-Agent: * Disallow: / selected_page.html # כדי להחיל את השינויים, על הרובוט לבקר בדף שנבחר שוב.
שלב 3
השתמש בשיטת המטא-תיוג כדי להוסיף כלל שצוין בקוד HTML לכל הדפים הנדרשים: זה הכרחי כדי לא לכלול דפים לא רצויים ממנוע החיפוש.
שלב 4
בחר שיטה ליצירת X-Robots-Tag להכנסת פקודות לכותרת http שאינן מוצגות בקוד העמוד: X-Robots-Tag: noindex, nofollow שיטה זו שימושית ביותר להוצאת דפים או קטעים שנבחרו מאינדקס של מנועי חיפוש זרים.
שלב 5
השתמש בדף בקרה מיוחד למנהלי אתרים ב- Yandex: https://webmaster.yandex.ru/deluri.xml או בגוגל: https://www.google.com/webmasters/tools. זה נעשה כדי לאסור על הצגת הרצוי דף, קטע או אתר שלם במנוע החיפוש שנבחר.
