לפעמים מנהל אתרים צריך להסיר את אחד העמודים שנוספו לאינדקס ממנוע החיפוש. לרוב, נעשה שימוש בפעולה זו לאחר שהזין בטעות את כתובת הדף לרשימה הכללית של מפת האתר. בשלב מסוים, מומחים של חברת Megafon נתקלו בשגיאה זו (הודעות SMS הפכו זמינות לכל משתמש במנוע החיפוש Yandex).
זה הכרחי
אתר אישי
הוראות
שלב 1
אחת הדרכים הקלות ביותר להסיר דף אינטרנט משלך מארכיוני מנועי החיפוש היא למחוק אותו פיזית, לשנות את כתובת המיקום ולמחוק אותו באופן כוזב (עליך להגדיר את התכונה של הדף שנמחק). לאחר שינוי עמוד זה, רובוט החיפוש יראה את השורה הבאה במקום את התוכן: HTTP / 1.1 404 לא נמצא. עם זאת, אל תשכח שרובוטים לחיפוש יכולים לבקר באתר כל 3 שעות, ואולי פעם ב 2-3 יום. לכן, אתה צריך לחכות זמן מה כדי לקבל את התוצאה.
שלב 2
הדרך הבאה היא לערוך את קובץ robots.txt, הקובע את נתיב הסורק ברגע שהוא מגיע לאתר שלך. למסמך טקסט זה תמיד יש מיקום אחד - שורש האתר. בפסקה הראשונה, פרמטרי האינדקס לרובוט Yandex בדרך כלל מסומנים (זה שונה במידה ניכרת מרובוטים אחרים), בפסקה השנייה לכל מנועי החיפוש האחרים.
שלב 3
בתחילת הפסקה עליכם לציין את כותרת הסוכן "User-Agent: *" ואת כתובות העמודים שיש להסתיר - "Disallow: /wp-content/foto/fotojaba.html". באותו אופן, עליך לציין את כתובות הדפים או החלקים שברצונך לסגור מאינדקס. שים לב ששיטה זו אינה מספקת תוצאות מהירות. אם באתר שלך פעילות מועטה והחדשות אינן משודרות ברשתות החברתיות, עיבוד נתונים חדשים יכול להגיע לתקופה של מספר ימים. בנוסף, יהיה עליכם למחוק את גרסאות העמודים הללו מהארכיון של שירות החיפוש.
שלב 4
שיטה חלופית להגדרת קישורים בקובץ robots.txt היא להשתמש בתג הרובוטים של המטא באותו שם. התחביר של תג זה הוא כדלקמן: עליו להיות ממוקם בין התגים [הראש] וה- [/head]. יש למקם את ערך הרובוטים בתג שם המטא. דוגמה תיראה כך:.
