Data Engineer
מס' המשרה: 22605
שם המשרה: Data Engineer
אזור: השפלה
תיאור של המשרה:
דרוש/ה מהנדס/ת נתונים (Data Engineer)
אודות התפקיד
אנו מחפשים מהנדס/ת נתונים מנוסה/ת להצטרף לצוות הפיתוח שלנו. התפקיד כולל עבודה על תהליכי ETL מורכבים, הקמת תשתיות נתונים בסביבת AWS, ופיתוח פתרונות data בקנה מידה גדול.
דרישות התפקיד
דרישות חובה:
ניסיון של לפחות 3 שנים כמהנדס/ת נתונים (Data Engineer)
ניסיון של 5+ שנים בכתיבת קוד פונקציונלי ב-Python, כולל:
עבודה מול קבצי JSON ובסיסי נתונים
כתיבת תהליכי ETL/ELT מורכבים
הקמת תשתיות ותבניות גנריות לניהול תהליכי ETL
כתיבת תהליכים תומכים (בקרות, ניהול גנרי, עבודה עם פרמטרים)
ניסיון מעשי של שנתיים לפחות בסביבת AWS עם השירותים הבאים:
Glue, Step Functions, Lambda, SQS/SNS - חובה
Athena, EMR, Redshift, RDS
יתרונות משמעותיים:
עבודה מול קבצי טקסט למטרות AI ו-LLM
ניסיון מעשי עם Apache Spark לעיבוד נתונים בקנה מידה גדול
עבודה מול REST APIs
הכרות עם Redshift ו-Kafka
ניסיון בפריסת שירותים (Deployment)
ניסיון בפריסת מודלים ב-SageMaker - יתרון משמעותי מאוד
ניסיון בכתיבת Microservices
הכרות עם פתרונות GenAI / Prompt Engineering
כישורים טכניים נוספים:
הבנה של טכניקות אופטימיזציה ועבודה עם Partitions
היכרות עם פורמטים: Parquet, Avro, HDFS, Delta Lake
ניסיון עם Docker, Linux, CI/CD tools, Kubernetes
