Data Engineer
מס' המשרה: 20138
שם המשרה: Data Engineer
אזור: גוש דן
תיאור של המשרה:
לארגון פיננסי גדול, עבודה באגף הסייבר
אחריות על מחזור החיים המלא של פיתוח פלטפורמת elastic, יצירת תהליכי הזרמת נתונים חדשים, איסוף דרישות, ניתוח מקורות המידע, מתן פתרונות ללקוחות קצה, ביצוע הדרכות ושמירה על תיעוד, טיפול בתכנון ופיתוח, פריסה ותחזוקה של מידע, ביצוע ניתוח נתונים מתקדם.
הקמת סביבות אנליטיות מתקדמות הנדרשות לניתוח נתונים מובנים ולא מובנים. יישום הדרישות העסקיות והתהליכים העסקיים, בניית pipelines לטובת הזרמת מידע לDataLake, חקר של טכנולוגיות חדשות, ביצוע ניטור שוטף, כוונון וניתוח ביצועי תשתית ה data, תכנון והרחבה של מאגר הנתונים.
דרישות
דרישות המשרה
מינימום שנתיים ניסיון עבודה שוטפת עם מערכת elastic ניהול Cluster (לא כמשתמש קצה), ניסיון בעבודה עם ILM
מינימום שנה ניסיון פרסור מתקדם של לוגים לטובת הזרמת מידע למערכת elastic
מינימום שנה ניסיון פיתוח דשבורדים באמצעות Kibana
מינימום שנה ניסיון ניטור וטיפול בתקלות ושיפור ביצועים בתהליכי הזרמת הנתונים -
מינימום שנה ניסיון עבודה שוטפת עם מערכת הפעלה linux – מינימום שנה ניסיון
ידע ב SQL, Grok, Ruby
מינימום שנה ניסיון פיתוח pipelines באמצעות logstash – מינימום שנה ניסיון
מינימום שנה ניסיון הכרות עם linux redhat
מינימום שנה ניסיון בפיתוח דשבורדים וויזואליזציות ב Kibana
מינימום שנה ניסיון בניתוח ופרסור logים במגוון של תצורות (CEF,SYSLOG,XML, JSON ,AVRO PARQUET , ORC ) ומקורות מידע מגוונים (בסיסי נתונים sqlים ו nosql, restAPI כו')
מינימום שנה ניסיון בשיטות שונות להעברת מידע הכרות עם בסיסי נתונים מסוג nosql וסביבת big data
ניסיון קודם בניהול elastic cluster – יתרון
הכרות עם ECS יתרון
עבודה עם מערכת NiFi – יתרון
יכולת debugging – יתרון
הכרות עם עולם אבטחת המידע (ארכיטקטורה, פרוטוקולי תקשורת וצורות הזדהות) – יתרון