חוקיות גירוד אתרים: מה עסקים בישראל צריכים לדעת

מידע ציבורי לעומת מידע לא ציבורי בגירוד אתרים

הכלל הבסיסי ביותר באיסוף נתונים מאתרים הוא ההבחנה בין מידע ציבורי למידע שאינו ציבורי. מידע שכל אדם יכול לראות ללא התחברות, כגון דפי מוצרים, אינדקסים עסקיים, מודעות נדל"ן וכתבות חדשות, נחשב בדרך כלל למידע נגיש לציבור. עם זאת, עצם הנגישות אינה מבטלת שיקולים משפטיים אחרים, לרבות תנאי שימוש, זכויות יוצרים והגנת הפרטיות.

מידע שאינו ציבורי הוא עניין שונה. אם נדרשת התחברות לחשבון, עקיפת חומת תשלום או שימוש בפרטי גישה של אדם אחר כדי להגיע למידע, אתם נכנסים לשטח של גישה ללא הרשאה. גם כאשר קיים חשבון פעיל, אין בכך בהכרח הרשאה לאיסוף אוטומטי של מידע או לעקיפת מגבלות גישה. לכן יש הבדל מהותי בין איסוף פרופיל שגלוי לכל מבקר לבין גישה לתוכן שמוגן באמצעות התחברות או אמצעי בקרה טכניים.

לשימוש עסקי, עדיף להתמקד במידע שכל מבקר יכול לצפות בו בלי להתחבר. אם הפרויקט דורש גישה לחשבון, החשבון צריך להיות בבעלותכם או שתהיה לכם הרשאה מפורשת מבעל החשבון.

מידע אישי ודיני פרטיות

איסוף מידע אישי, כגון שמות, כתובות דוא"ל, מספרי טלפון, כתובות IP או נתוני מיקום, מפעיל חובות בתחום הפרטיות. בישראל, חוק הגנת הפרטיות והתקנות מכוחו עשויים לחול על איסוף, שימוש, שמירה והעברה של מידע אישי. עסקים צריכים לבחון את מטרת האיסוף, את אופן השימוש במידע, את חובת השקיפות כלפי אנשים ואת אמצעי אבטחת המידע הנדרשים.

בסיס חוקי ומטרת השימוש הם גורמים מרכזיים. אם אתם אוספים פרטי קשר עסקיים מתוך מדריך ציבורי לצורכי שיווק B2B, יש לבחון אם השימוש תואם את מטרת הפרסום ואת הוראות הדין הרלוונטיות. אם אתם אוספים פרופילים של צרכנים, ביקורות הכוללות שמות או פעילות ברשתות חברתיות, נדרשת בחינה מעמיקה יותר של הסכמה, צמצום מטרות, זכויות נושאי המידע וציפיות סבירות לפרטיות. העובדה שמידע זמין לציבור אינה אומרת בהכרח שהוא פטור מדיני הגנת הפרטיות.

בפועל, עסקים רבים בוחרים להימנע מאיסוף מידע אישי ככל האפשר. במקום לאסוף ביקורות הכוללות שמות, אפשר לאסוף דירוגים מצטברים וטקסט אנונימי. במקום לאסוף פרופילים אישיים ברשתות חברתיות, אפשר להתמקד בפרסומים ציבוריים שאינם מקושרים לאנשים מזוהים, אלא אם קיימת דרך משפטית ברורה ומדיניות פרטיות מתאימה. אם הפרויקט דורש מידע אישי, מומלץ להתייעץ עם עורך דין המתמחה בהגנת הפרטיות לפני תחילת העבודה.

תנאי שימוש: חוזה לעומת גישה טכנית

אתרים רבים מפרסמים תנאי שימוש האוסרים גירוד אתרים, גישה אוטומטית או שימוש מסחרי במידע שלהם. המשמעות המשפטית של תנאים אלה אינה תמיד ברורה. תנאי שימוש הם בדרך כלל הסכם חוזי, והפרתם אינה הופכת כל פעולת איסוף נתונים לעבירה פלילית באופן אוטומטי. עם זאת, הנסיבות המדויקות, אופן ההסכמה לתנאים ואופי הגישה הטכנית עשויים להשפיע על רמת הסיכון.

למרות זאת, תנאי שימוש עשויים להיות מחייבים מבחינה חוזית, והפרתם עלולה להוביל להשלכות אזרחיות. בעל אתר יכול לשלוח מכתב התראה, לבקש צו מניעה או לטעון להפרת חוזה ולנזק שנגרם לו. ככל שהסכמתם במפורש לתנאים האוסרים איסוף אוטומטי, וככל שהפעילות גורמת לפגיעה ממשית באתר, כך הסיכון גדל.

כיצד לגשת לתנאי השימוש

• קראו את התנאים. אם גירוד אתרים נאסר במפורש ואתם מתכננים פרויקט מסחרי, העריכו את רמת הסיכון. פלטפורמות גדולות עם צוותים משפטיים פעילים נוטות יותר לאכוף את התנאים שלהן מאתרים קטנים.
• בדקו קודם אם יש API. פלטפורמות רבות מציעות ממשקי API רשמיים שמספקים מידע מובנה ומפחיתים אי-ודאות חוזית.
• פעלו באופן מתון מבחינה טכנית. גם כאשר התנאים אוסרים איסוף, אתרים עשויים לסבול בוטים בהיקף נמוך שאינם משבשים את השירות. ההבדל בין פעילות נסבלת לבין סכסוך משפטי תלוי לעיתים קרובות בהיקף ובהשפעה.
• תעדו את התהליך. במקרה של מחלוקת, תיעוד לכך שאספתם מידע ציבורי בלבד, כיבדתם את robots.txt ושמרתם על קצב בקשות סביר עשוי לחזק את עמדתכם.

בפרויקטים המצויים באזור אפור, כגון איסוף נתונים מזירת מסחר גדולה או מפלטפורמת נדל"ן לצורכי ניטור מחירים, מומלץ לפעול בזהירות, להשתמש בשירות גירוד אתרים מקצועי שמכיר את הגבולות, ולהיות מוכנים לעצור אם מתקבלת התנגדות משפטית.

זכויות יוצרים וזכויות במאגרי מידע

זכויות יוצרים מגינות על יצירות מקוריות, כגון טקסטים, תמונות, סרטונים וקוד תוכנה. גירוד אתר אינו מעניק לכם בעלות על התוכן שבו. פרסום מחדש של כתבות, תיאורי מוצרים או צילומים שנאספו ללא רשות עלול לחשוף אתכם להפרת זכויות יוצרים. גם למאגרי מידע עשויה להיות הגנה משפטית, בהתאם לאופי המאגר, לאופן ארגון המידע ולהיקף ההשקעה ביצירתו.

עובדות כשלעצמן, כגון מחירים, כתובות ומפרטי מוצרים, אינן בהכרח מוגנות בזכויות יוצרים. עם זאת, אופן הניסוח, הבחירה, הסידור או ההצגה של המידע עשוי להיות מוגן. איסוף נתונים עובדתיים גולמיים לשימוש פנימי, כגון השוואת מחירים, מחקר שוק או ניטור מלאי, כרוך בדרך כלל בסיכון נמוך יותר מאשר פרסום מחדש של תוכן יצירתי. פרסום מידע בדרך המתחרה ישירות במקור המקורי הוא מהלך מסוכן יותר.

צמצום הסיכון לזכויות יוצרים

1. אספו עובדות, לא תוכן יצירתי. התמקדו במחירים, מפרטים וזמינות, ולא בטקסט שיווקי או בתצלומים מקצועיים.
2. עבדו את הנתונים. כאשר אתם מאגדים, מנתחים או מציגים מחדש את המידע כחלק ממוצר משלכם, אתם מוסיפים ערך עצמאי.
3. ציינו את המקור כאשר הדבר מתאים. אם אתם מציגים נתונים שנאספו לציבור, הפנו לאתר המקור.
4. הימנעו מפרסום מחדש בהיקף רחב. שיקוף של אתר או מאגר מידע שלם הוא המקרה הברור ביותר של סיכון להפרה. השתמשו בנתונים כדי לתמוך בהחלטות, ולא כדי להחליף את המקור.

בפרויקטים מסחריים הכוללים פרסום מחדש או הפצה של תוכן שנאסף, כגון אתרי השוואה, אגרגטורים או מאגרי נתונים לאימון AI, כדאי להשקיע בבדיקה משפטית.

השפעה טכנית: כבדו את התשתית

גם כאשר קיימת אפשרות חוקית לאסוף מידע, אופן הפעולה הטכני חשוב. העמסת אתר בבקשות יכולה לגרום לפגיעה בשירות, לעלויות אחסון מוגדלות, להשבתת האתר או לחוויית משתמש ירודה. נזק מדיד מסוג זה עלול לתמוך בדרישות לפיצוי או בצו מניעה.

הגבלת קצב הבקשות היא גם נימוס מקצועי וגם אמצעי להפחתת סיכון. סקרייפר מתוכנן היטב פועל בקצב מתון: הוא ממתין בין בקשות, מכבד הנחיות robots.txt, מזדהה באמצעות מחרוזת זיהוי ונסוג כאשר האתר מחזיר שגיאות. אתרים מפעילים אמצעים נגד בוטים לא רק כדי לאכוף תנאי שימוש, אלא גם כדי להגן על התשתית שלהם.

הקובץ robots.txt אינו בהכרח מסמך מחייב מבחינה משפטית, אך התעלמות ממנו עלולה להחליש את עמדתכם במקרה של מחלוקת. עמידה בהנחיותיו יכולה להצביע על תום לב, ואילו הפרתן עשויה להיתפס כפעולה מודעת בניגוד לרצון מפעיל האתר. בפרויקטים עסקיים, הגדירו את הסקרייפרים כך שיכבדו robots.txt, אלא אם קיימת סיבה ספציפית וייעוץ משפטי המצדיקים אחרת.

רשימת בדיקה מעשית לציות

כל פרויקט גירוד אתרים צריך להתחיל בבדיקת ציות. הרשימה הבאה מכסה את השיקולים המשפטיים והטכניים העיקריים לעסקים בישראל. היא אינה תחליף לייעוץ משפטי, אך היא מספקת מסגרת לזיהוי סיכונים לפני שמקצים משאבים.

לפני שמתחילים

• ודאו שהמידע ציבורי. האם כל מבקר יכול לראות אותו ללא התחברות או תשלום? אם כן, אפשר להמשיך בבדיקה. אם לא, עצרו או קבלו הרשאה.
• בדקו אם יש API רשמי. פלטפורמות רבות מספקות גישה לנתונים מובנים שמונעת אי-ודאות חוזית.
• קראו את תנאי השימוש. שימו לב לאיסורים מפורשים על גירוד אתרים, גישה אוטומטית או שימוש מסחרי. העריכו את סיכוי האכיפה לפי היסטוריית הפלטפורמה ומקרה השימוש שלכם.
• זהו מידע אישי. האם תאספו שמות, כתובות דוא"ל, מספרי טלפון או מזהים אחרים? אם כן, בחנו את הבסיס החוקי ואת החובות שלכם לפי חוק הגנת הפרטיות.
• בדקו זכויות יוצרים וזכויות במאגרי מידע. האם אתם אוספים תוכן יצירתי, כגון טקסטים ותמונות, או נתונים עובדתיים, כגון מחירים ומפרטים? תכננו להשתמש בעובדות ולא להעתיק תוכן, והוסיפו ערך עצמאי במידת האפשר.

במהלך הפרויקט

• כבדו את robots.txt. הגדירו את הסקרייפר כך שיפעל לפי הנחיות החסימה, אלא אם קיימת סיבה משפטית לחרוג מהן.
• הגבילו את קצב הבקשות. פזרו את הבקשות כדי לא להעמיס על אתר היעד. בקשה אחת בשנייה היא נקודת פתיחה טובה לאתרים קטנים.
• השתמשו במחרוזת זיהוי ברורה. זהו את הסקרייפר באמצעות מחרוזת זיהוי תיאורית וספקו פרטי קשר.
• עקבו אחר חסימות ושגיאות. אם אתם מקבלים 403, 429 או אתגרי captcha, האטו או עצרו.
• שמרו את הנתונים באופן מאובטח. אם אתם אוספים מידע אישי, הצפינו אותו בהעברה ובאחסון, הגבילו גישה ופעלו בהתאם לכללי שמירת המידע.

לאחר האיסוף

• השתמשו בנתונים למטרה שהוגדרה. אל תעשו שימוש חדש במידע אישי ללא בחינה משפטית מתאימה.
• ציינו מקורות כשמתאים. אם אתם מציגים נתונים שנאספו לציבור, הפנו לאתר המקורי.
• התייחסו ברצינות לבקשות הסרה. אם בעל אתר מבקש מכם לעצור או למחוק נתונים, בחנו את הבקשה באופן רציני.
• בצעו בדיקה תקופתית. חוקים משתנים, תנאי שימוש מתעדכנים וסדרי עדיפויות באכיפה משתנים. חזרו לבדיקת הציות לפחות אחת לשנה.

מתי לפנות לייעוץ משפטי

חלק מהפרויקטים נמצאים בגבולות סיכון נמוכים יחסית, למשל איסוף דפי מוצרים ציבוריים להשוואת מחירים פנימית, איסוף מודעות נדל"ן לצורך ניתוח שוק או ריכוז ביקורות לקוחות למחקר סנטימנט. פרויקטים אחרים עמומים יותר או כרוכים בסיכון גבוה. מומלץ להתייעץ עם עורך דין אם הפרויקט כולל אחד מהדברים הבאים:

• איסוף מידע מפלטפורמה ששלחה בעבר מכתבי התראה או נקטה הליכים נגד גורמים שאספו ממנה נתונים.
• איסוף מידע אישי בהיקף רחב, במיוחד אם אתם מתכננים למכור אותו, להשתמש בו לפרופיילינג או לשלבו עם מאגרי מידע אחרים.
• פרסום מחדש או הפצה של תוכן שנאסף באופן המתחרה במקור המקורי.
• גישה למידע מאחורי התחברות, חומת תשלום או הגנות טכניות, גם אם יש לכם חשבון.
• פעילות בענף מפוקח, כגון פיננסים, בריאות או שירותים משפטיים, שבו הטיפול בנתונים כפוף לכללים ענפיים.

עורך דין אינו יכול להפוך פרויקט לא חוקי לחוקי, אך הוא יכול לסייע בבניית גישה הניתנת להגנה, בניסוח תנאים והודעות פרטיות ובהפחתת סיכונים. בפרויקטים בעלי ערך גבוה, כגון בניית פלטפורמת SaaS על בסיס נתונים שנאספו, השקת אתר השוואות או יצירת מאגר נתונים מסחרי, עלות הייעוץ המשפטי נמוכה יחסית לעלות של הליך משפטי או סנקציות רגולטוריות.

עבודה עם שירות גירוד אתרים

עסקים רבים בוחרים להוציא את איסוף הנתונים למיקור חוץ במקום לבנות סקרייפרים בתוך הארגון. שירות מקצועי מביא מומחיות טכנית, מטפל בהגנה מפני בוטים ומכיר את הגבולות המשפטיים. בעת בחירת ספק, שאלו על נוהלי הציות שלו. האם הוא אוסף מידע ציבורי בלבד? האם הוא מכבד robots.txt ומגבלות קצב? האם הוא נמנע מאיסוף מידע אישי אלא אם אתם מספקים בסיס חוקי לכך?

Kodrana מחזיקה קטלוג של סקרייפרים מוכנים לפלטפורמות נפוצות, כולל זירות מסחר, אתרי נדל"ן, לוחות דרושים ומדריכים עסקיים, ובונה סקרייפרים מותאמים למקורות חדשים בתוך 2-5 ימי עסקים. אנו אוספים מידע זמין לציבור בלבד, לעולם לא מתחברים לחשבונות שאינם בבעלותנו, ומגדירים כל סקרייפר כך שיכבד מגבלות טכניות ומשפטיות. לפני תחילת כל פרויקט, אנו בוחנים את אתר היעד ומאשרים היתכנות. ללקוחות חדשים אנו מספקים דוגמה חינמית של 50-100 רשומות, כדי שתוכלו לוודא את איכות הנתונים ואת ההתאמה לפני התחייבות. אם אינכם בטוחים שהפרויקט שלכם אפשרי, שלחו לנו את האתר ואת השדות הדרושים לכם, ואנו נבדוק את רמת ההגנה ונייעץ לגבי המסלול המשפטי והטכני המתאים.