הדפים שנוספו לאינדקס על ידי מנועי החיפוש מבטיחים תנועה יציבה למשאב. אבל אם כרגע האתר שלך נמצא בפיתוח, אז הופעתם של רובוטים לחיפוש בדפי המשאב היא מאוד לא רצויה, מכיוון שמידע אודות קטעים שלא מלאו שנכנס לחיפוש יכול לשלול את המשאב שלך ממבקרי היעד במשך זמן רב. כדי להגן על האתר באופן זמני מפני סריקה על ידי רובוטים, עליך לאסור עליו להוסיף לאינדקס. לשם כך, מספיק לבצע כמה שינויים פשוטים בקוד המשאבים.
זה הכרחי
- - בעלי ידע בסיסי לפחות ב- HTML
- - ידע כיצד לפתוח את תיקיית הבסיס של ספריית הקבצים של האתר שלך
הוראות
שלב 1
ראשית, בדוק אם באתר שלך יש קובץ robots.txt האחראי על האינדקס הנכון של המשאב. לשם כך עבור אל http: ⁄ ⁄ www ru ⁄ robots.txt ⁄, והחלף את http: ⁄ ⁄ www ru אתר בכתובת האתר שלך.
שלב 2
אם, כאשר אתה לוחץ על קישור זה, נפתחת רשומה של הטופס "User-agent: * Disallow …", פירוש הדבר שהקובץ הנדרש קיים באתר שלך. במקרה זה, עבור לתיקיית הבסיס בה מאוחסנים כל קבצי האתר שלך ומצא את קובץ ה- robots.txt.
שלב 3
אם מערכת הניהול של האתר שלך מאפשרת לך לערוך קובץ זה ישירות מתיקיית השורש, ואז פתח את robots.txt באמצעות שירות עזר. אם אי אפשר לבצע שינויים בקובץ דרך ממשק המערכת, שמור את המסמך במחשב שלך ואז פתח אותו דרך התוכנית Notepad.
שלב 4
שנה את שתי השורות הראשונות של המסמך לשורות הבאות:
סוכן משתמש: *
לא לאפשר: /.
הכיתוב "User-agent: *" מציין כי הכללים הבאים חלים על כל רובוטי החיפוש, ו" Disallow: / "פירושו שהאתר כולו אינו באינדקס. לאחר תיקון התוכן, שמור את הקובץ.
שלב 5
אם לאתר שלך אין קובץ robots.txt, צור מסמך חדש בפנקס הרשימות. הזן בו את שני אותם ערכים, הצב כל אחד מהם בשורה חדשה, ושמור את הקובץ באמצעות הפקודה "שמור קובץ …" תחת השם robots.txt.
שלב 6
העלה את המסמך שנוצר לתיקיית השורש של האתר שלך ובדוק את פעולתו על ידי לחיצה על הקישור http: ⁄ ⁄ www · site · ru ⁄ robots.txt ⁄, במקום "http: ⁄ ⁄ www · site · ru" כתובת המשאב שלך.
שלב 7
דרך נוספת לאסור הוספה לאינדקס היא הכנסת מטא תגים מיוחדים לקוד ה- HTML של דפי האתר. על מנת להשתמש בשיטה זו, מצא בקוד של אחד מדפי האתר את הכתובות " והניח אותו מיד לאחר " השורה ".
שלב 8
אם האתר שלך כתוב ב- HTML, יש להוסיף קוד זה בכל עמוד. עבור משאב PHP, מספיק להציב ערך כזה בקובץ header.php.
