דפי כל אתר נסרקים באופן קבוע על ידי רובוטים לחיפוש, המעבדים את המידע באתר כך שיהיה זמין לבקשת המשתמשים במנועי החיפוש. לביקורים של מבקרים ממנועי חיפוש יש השפעה חיובית על תעבורת האתר וממריצים את התפתחות המשאב. אבל, אם ישנם עמודים באתר, שהמידע שעליהם לא מיועד לקהל האינטרנט (למשל, העמודים האישיים של המשתמשים או דף הרישום), אז אין צורך במעבר ממנועי חיפוש לדפים כאלה וזה עדיף לאסור על מידע זה להוסיף לאינדקס.
נחוץ
- - שיהיה לך אתר משלך
- - לדעת את הקישורים לדפים, שאסור להוסיף עליהם אינדקס.
- - בעלי ידע בסיסי לפחות ב- HTML
הוראות
שלב 1
על מנת למנוע מרובוט החיפוש להוסיף לאינדקס דפים מסוימים באתר, עליך לבצע שינויים בקובץ robots.txt, אם הוא כבר נמצא באתר שלך, או ליצור קובץ זה.
שלב 2
אם קובץ robots.txt כבר הועלה לאתר ואפשר לערוך קובץ זה ישירות מלוח הבקרה על המשאבים, ואז פתח את robots.txt דרך שירות האינטרנט לעריכה.
שלב 3
אם אין דרך לבצע שינויים בקובץ הרצוי ישירות מלוח הבקרה, פתח את robots.txt בדפדפן על ידי לחיצה על הקישור לקובץ זה. העתק את כל הנתונים מהדף שנפתח והדבק אותם על הגיליון בפנקס הרשימות.
שלב 4
אם אין אתר robots.txt, פתח את התוכנית "פנקס רשימות" שבמסמך החדש עליו תצטרך להזין את הקוד הדרוש.
שלב 5
על גיליון ריק של מסמך טקסט, כתוב את השורה הנדרשת הראשונה:
סוכן משתמש: *
שלב 6
לאחר מכן עבור לשורה הבאה על ידי לחיצה על מקש Enter והקלד את הקוד הבא:
Disallow: / index / page3 Disallow: לא מציין אינדקס, ו / index / page3 הוא קישור לדף שלא צריך להוסיף לאינדקס. במקום הקישור / אינדקס / עמוד 3, הכנס קישור לדף האתר שלך שברצונך לחסום לעיבוד על ידי רובוטים.
שלב 7
שים לב ששם הדומיין עצמו חסר בתחילת הקישור; נוכחותו בערך מרמזת על קו נטוי קדימה. בעת סריקה של אתר, רובוט חיפוש מכניס אוטומטית שם דומיין לקישורים כאלה. לכן, כתבו קישורים לדפים הדרושים בדרך זו.
שלב 8
לאחר Disallow: ניתן למקם לא רק קישור לדף ספציפי, אלא גם קישור לכל קטע או ספריה באתר. באופן דומה, ניתן לאסור אינדקס של החלק הרצוי באתר.
שלב 9
אם יש צורך לאסור עיבוד על ידי רובוטים של כמה חלקים שונים של המשאב, כתוב קישור לכל קטע או עמוד בשורה חדשה, שבתחילתה אל תשכח לשים את הערך Disallow:.
שלב 10
להשלמת שינוי ה- robots.txt, לחץ על כפתור "שמור" תוך כדי עריכת הקובץ בלוח הבקרה, או שמור מסמך טקסט עם ערכים תחת השם robots.txt והעלה קובץ זה לאתר.
