שליפת נתונים מדפי HTML

[The student]

אני סטודנטית של משרד החינוך.
אני עושה פרויקט גמר שמשתמש באלגוריתם לחיפוש ושליפת נתונים מאתרים.
יש מישהו שיכול להציע לי מאמרים. אלגוריתמים שמתעסקים בנושא ומסבירים את הנושא בצורה ברורה?
זה ממש יעזור לי!
תודה רבה!

 

[yitzhak123]

how to extract data from websites - חיפוש ב-Google

How to Extract Web Data Efficiently: 4 Ways

These overlooked methods will save you time and money

towardsdatascience.com

 

[רי מקס]

יש 2 אפשרויות איך המידע עובר מהשרת (server) לדפדפן (client)

השיטה הישנה וכך רוב אתרים קטנים ובינונים עובדים
עיבוד של המידע מתבצע בצד שרת והפלט שהשרת מוציא הוא קוד HTML מוכן ישר לדפדפן
במקרה כזה את צריכה ספריה שיודעת לפענח קוד HTML ולסנן את המידע
בשפת תכנות NODEJS מאד קל לעשות את הפעולה באמצעות הספריה node-html-parser

השיטה החדשה ורוב אתרים גדולים כמו יד2 ואחרים משתמשים
הפלט של השרת מועבר ב2 שלבים
שלב ראשון רק המבנה והעיצוב של האתר
בשלב שני שרת שולח רק את התוכן הרלוונטי בפורמט JSON
קוד JS יודע לשלב את המידע לתוך העיצוב שנשלח בשלב א

במצב כזה הרבה יותר קל לאסוף את המידע
צריכים רק לראות בכלי "network" של הדפדפן איזה בקשת URL שולחת את התוכן ואיזה פרמטרים צריכים לשלוח כדי לקבל את המידע הנכון
יש גם תוכנה בשם post-man שאפשר להריץ בצורה ידנית קריאות לשרת שמדמה שליחת קריאות של דפדפן

 

[s976]

מציע להתחיל מויקפדיה

Web scraping - Wikipedia

en.wikipedia.org

 

[The student]

אני רוצה לגשת לשורת החיפוש באתר דרך הקוד
ולשלוח שם מילים לחיפוש ולקלוט את התשובה
הבעיה היא שבאתר שאני רוצה לעשות את זה הבקשה נשלחת כPOST ולא כGET
איך אפשר לשלוח את הבקשה שלי?

 

[s976]

אני רוצה לגשת לשורת החיפוש באתר דרך הקוד
ולשלוח שם מילים לחיפוש ולקלוט את התשובה
הבעיה היא שבאתר שאני רוצה לעשות את זה הבקשה נשלחת כPOST ולא כGET
איך אפשר לשלוח את הבקשה שלי?

זה תלוי שפה. באיזו שפה את משתמשת?
בכל מקרה, בדרך כלל כל פונקציה שיודעת לשלוח get יודעת גם לשלוח post

 

[למדן וידען]

אני רוצה לגשת לשורת החיפוש באתר דרך הקוד
ולשלוח שם מילים לחיפוש ולקלוט את התשובה
הבעיה היא שבאתר שאני רוצה לעשות את זה הבקשה נשלחת כPOST ולא כGET
איך אפשר לשלוח את הבקשה שלי?צפה בקובץ המצורף 860312

בשביל בדיקות? תשתשמשי עם פוסטמן.

יש גם תוכנה בשם post-man שאפשר להריץ בצורה ידנית קריאות לשרת שמדמה שליחת קריאות של דפדפן

 

[The student]

יש מישהו שיכול להסביר לי מה ההבדל בין IHtmlDocument לבין HtmlDocument? או שאין הבדל?

 

[C]

לאיזו שפה הכוונה?
בד"כ מה שמתחיל בI הוא interface, והשני כנראה class.

 

[מנסה את מזלי]

יש מישהו שיכול להסביר לי מה ההבדל בין IHtmlDocument לבין HtmlDocument? או שאין הבדל?

משתמשים ב - AngleSharp.Parser.Html; ?
אני עכישו השתמשתי בזה הרבה
מה השאלה בדיוק ?

 

[The student]

השפה היא בשפת C# השאלה היא אם יש הבדל בסיסי כל שהוא מאחורי שני העצמים האלו ( IHtmlDocument, HtmlDocument)
כי הפעולות שעושים עליהם הם שונות....

 

[The student]

בפרוייקט שלי אני נגשת לתווית שופינג ורוצה להוציא משם נתונים.
אני מצליחה לשלוף אבל באופן מוזר זה שולף לי דף HTML עם תגיות וCLASS-ים שונים
יש משהוא שנתקל בבעיה ויכול להסביר לי למה זה קורה?