דף הבית מחשבים וטכנולוגיה תוכנה הכנת זחלן-רשת (Web Spider) בפלאש
הכנת זחלן-רשת (Web Spider) בפלאש
אלעד כהן 31/08/10 |  צפיות: 2874

מהו זחלן-רשת?
זחלן-רשת הוא תוכנת מחשב שסורקת אתרי-אינטרנט בזה אחר זה ומבצעת פעולות המבוססות על התוכן הנמצא בדפי-האתרים. המעבר של זחלן-הרשת מאתר לאתר מבוצע ע"י זיהוי הקישורים החיצוניים (קישורים לאתרים אחרים) שנמצאים באתר הנוכחי שנסרק. לדוגמא, זחלן-הרשת מתחיל מכתובת של אתר אינטרנט ומבצע את הפעולות הבאות: קבלת קוד ה-HTML של העמוד הראשי באתר, ניתוח קוד ה-HTML, שליפת הקישורים (תגי <a>) וסיווג כל קישור כקישור שמוביל לעמוד אחר באותו האתר (קישור פנימי) או כקישור שמוביל לאתר אחר (קישור חיצוני), לאחר מכן ביצוע אותם הפעולות בעמוד הבא באתר (שנשלף מרשימת הקישורים הפנימיים). בתום סריקת דפי-האתר, הזחלן מתקדם לאתר הבא מתוך רשימת הקישורים החיצוניים שנוצרה. כך הזחלן סורק את הרשת, דף אחר דף, אתר אחר אתר.

זחלן-הרשת של גוגל
זחלן-הרשת של גוגל סורק את כל הדפים שנמצאים באינטרנט בתדירות שונה לכל אתר (בהתאם לקצב השינויים באתר). הרובוט שומר את קוד ה-HTML של העמודים כדי שבשלב מאוחר יותר, קוד זה ישמש כקלט של האלגוריתמים של גוגל, המדרגים את העמודים וקובעים את מיקומם בתוצאות החיפוש. כאשר מבוצעת בקשה לקבלת דף-אינטרנט משרת Web, היא מבוצעת בפרוטוקול HTTP, אחד השדות בפרוטוקול HTTP הוא השדה UserAgent המכיל מחרוזת שמזהה את התוכנה שביצעה את הבקשה (לדוגמא שם הדפדפן שהגולש משתמש בו). כשהזחלן של גוגל מבקש דף-אינטרנט, בשדה UserAgent מופיעה המחרוזת Googlebot. שרת ה-Web יכול לדעת מהו ערך השדה UserAgent ולפיכך לדעת מתי הזחלן של גוגל סרק כל עמוד.

איך להכין זחלן-רשת בפלאש
ניתן להכין זחלן-רשת בפלאש (בשפת AS3) ע"י שימוש במחלקה URLLoader.
סדר הפעולות ליצירת זחלן-רשת:
א. שימוש במחלקה URLLoader כדי לקבל את קוד ה-HTML של דף האינטרנט הראשון ממנו הזחלן יתחיל לפעול. קוד ה-HTML מתקבל באמצעות הגדרת האירוע Event.COMPLETE.
ב. ניתוח קוד ה-HTML ע"י שימוש ב: Regular Expressions, indexOf, lastIndexOf, substr, substring כדי לשלוף את כל הקישורים הפנימיים (שמובילים לדפים אחרים בתוך האתר) והקישורים החיצוניים (שמובילים לאתרים אחרים).
ג. ביצוע פעולות שונות בהתאם למטרות הזחלן, הקלט של הפעולות הוא קוד ה-HTML של העמוד.
ד. שימוש ב-URLLoader שוב בצורה רקורסיבית על פני כל אחד מהעמודים ברשימת הקישורים הפנימיים ולאחר סריקת כל עמודי האתר, מעבר לאתר חדש.


דירוג המאמר:

תגיות של המאמר:

 אלעד כהן

המאמר נכתב ע"י אלעד כהן - מתכנת פלאש בחברת GAME DEV LTD.



 


מאמרים נוספים מאת אלעד כהן
 
ווינר ליין
ווינר ליין הוא אחד ממשחקי הטוטו המופעל על ידי המועצה להסדר הימורים בספורט. משחק ווינר ליין מתקיים באופן שבועי, כאשר בכל שבוע מתפרסמות שלוש רשימות ובהן תשעים...

דורה משחקים לילדים
כיום כבר כולם מכירים את דורה החוקרת שמשחקת עם הילדים ותוך כדי גם מלמדת אותם ומאתגרת אותם במשימות שונות. דורה וחבריה יוצאים להרפתקאות ובדרך נתקלים...

טורניר פוקר - מידע למתחילים
משחק פוקר הוא ביסודו משחק של מספר משתתפים, לרוב בין שניים לשמונה. עידן האינטרנט איפשר גם משחקים יחידים של המתחרה נגד המחשב. ברחבי העולם מתקיימים טורנירי פוקר המאפשרים...

משחק טריוויה
משחק טריוויה הוא אחד מהמשחקים הנפוצים בעולם. מטרתו של משחק טריוויה הוא לבחון את המשתתפים בידע כללי העוסק בתחומים רבים כגון: אישים, פוליטיקה, היסטוריה...

משחקים של דורה
משחקים של דורה הפכו לאחד מסוגי משחקי הילדים האהובים והמבוקשים ביותר בשנה האחרונה. הסיבה העיקרית לכך היא הצלחתה של סדרת הילדים בכיכובה של...

משחקים לילדים בני 6
אחת הדרכים שלנו להעניק ידע לילדנו ולהעשיר את היכרותם עם תחומי ידע שונים, היא לאפשר להם לשחק. כך אנו מבטיחים לעצמנו שאנחנו עושים את השילוב הנכון שבין למידה להנאה, כך שכולם יוצאים מרוצים...

רולטה
Roulette פירושו בצרפתית גלגל קטן. מדובר באחד המשחקים המהנים ביותר בתחום משחקי קזינו. מלבד מכונות מזל, בלאק ג'ק ומשחקי קלפים אחרים, משחק הרולטה הוא משחק של הרבה אדרנלין, סיכון והנאה...

משחקי חשיבה און ליין
כולנו אוהבים אתגרים, כולנו אוהבים לשחק – וכששני אלה משולבים אחד בשני אנחנו יכולים לבלות שעות מול מסכי המחשב. משחקי חשיבה און ליין מאפשרים לנו...

ששבש
בין כל משחקי הלוח הקיימים, ששבש הוא ללא ספק אחד הבולטים והותיקים ביותר בעולם. יש הנוהגים לראות את המשחק כמשחק מזל, אך יש בו גם חשיבה אסטרטגית ושקולה...

פוקר ברשת
משחק פוקר ברשת שינה את תפיסת הפוקר בעולם והפך אותו לאחד ממשחקי הקלפים הנפוצים והאהובים ביותר. כיום, לא רק שחקנים ותיקים מופיעים בשולחנות הפוקר, אלא כל שחקן...
     
 
שיווק באינטרנט על ידי WSI