Jobily
director, ai quality engineering lead 4946565
About the job
The Director, AI Quality Engineering Lead ensures that AI systems across the enterprise are safe, fair, reliable, compliant, and observable from pre‑release through continuous operations. This role designs and operates enterprise evaluation frameworks (quality, bias/fairness, robustness, privacy), leads red‑teaming and guardrail development, encodes policy and regulatory requirements as automated checks, and drives metric reporting and post‑incident learning across AI programs. The lead partners closely with Enterprise Architecture, Compliance, Legal/Privacy, Security, Data Governance, and product/engineering teams to enforce quality and safety gates and enable responsible scale. (Aligned to Corporate Policy and Responsible AI principles.)
Reporting into the Head of Applied AI Engineering, you will manage a team of QA Engineers and AI Engineers. This role blends deep technical leadership, product engineering strategy, and direct enablement of enterprise use cases and services. You will partner closely with business, legal and technical stakeholders to design and deliver robust, scalable solutions that demonstrate the value of AI across our enterprise in a safe and compliant way. This role is execution-oriented with strong influence on building AI solutions responsibly.
Evaluation and Test Strategy
Define and run evaluation frameworks for LLMs and multi-modal systems covering performance, fairness, bias, robustness, safety, and privacy.
Build automatic + human-in-the-loop evaluation pipelines with reproducible scoring, statistical significance, and error analysis.
Establish SLOs/SLIs for quality (e.g., grounded accuracy, hallucination rate, privacy leak rate, harmful-content rate).
Red-Teaming & Safety Guardrails
Design and run red-teaming against prompt injection, jailbreaks, sensitive data leakage, tool-abuse, and retrieval abuse.
Develop guardrail solutions (classification, content safety, PII/PHI detection, grounding checks, allow/deny lists, rate limiting, output filtering) to mitigate hallucinations, leakage, and compliance violations.
Maintain attack libraries and scenario banks; simulate adversarial behavior and monitor adaptive attacks over time.
Pre‑Release Gating & Continuous Assurance
Operate pre‑release evaluation gates with baselines, regression checks, canary/A–B testing, and rollback criteria.
Run continuous evaluation in production with synthetic & real traffic (shadow/ghost testing) and drift, bias, and toxicity monitoring.
Stakeholder Leadership & Culture
Coach product teams on responsible AI practices and establish quality ownership norms.
Build a community of practice across Engineering, Security, Data Governance, and Risk—standardizing test data, benchmarks, and review rituals.
Mentor engineers building evaluation, red-team, and guardrail capabilities.
BASIC QUALIFICATIONS
7+ years in ML/AI/Platform/Quality roles, including 3+ years evaluating production systems.
Advanced degree in Computer Science, Engineering or related discipline.
Proven design & operation of evaluation harnesses and policy-as-code checks in CI/CD.
Hands-on Python and expertise with evaluation and safety tooling such as: OpenAI Evals, Ragas/LangSmith, DeepEval, Azure AI Content Safety / OpenAI Moderation, Presidio, Guardrails.ai, Nemo, MLFlow, Grafana, Kibana, Azure monitor
Cloud & MLOps: Azure/AWS, CI/CD (GitHub Actions/Azure DevOps, feature stores, vector DBs (Azure AI Search, OpenSearch, Pinecone), testing in pipelines.
Excellent communication with executives and engineers
Experience leading an engineering team.
PREFERRED QUALIFICATIONS
Led an AI safety/quality function or enterprise red-team program.
Prior work with AI based applications, tool use/orchestration, and enterprise data governance.
Regulatory literacy (e.g., GDPR, EU AI Act readiness), and experience collaborating with Compliance/Risk, Security, and Legal.
Strong grasp of red-team techniques (prompt/indirect injection, jailbreaks, training data extraction, membership inference, model poisoning, tool abuse).
Experience with retrieval grounding checks, memory governance, and multi-tenant safety controls.
About the company
ΓΙΑΤΙ ΣΤΗ PFIZER;
Στην Pfizer ξέρουμε ότι μπορούμε να κάνουμε τη διαφορά για την ποιότητα ζωής εκατομμυρίων ανθρώπων παγκοσμίως. Κατανοούμε επίσης, ότι το ταλέντο σας είναι το κλειδί για την επίτευξη αυτού του στόχου.
Σήμερα, είμαστε μία απο τις κορυφαίες φαρμακευτικές εταιρείες σε παγκόσμιο επίπεδο. Σε εθνικό επίπεδο, μας αναγνωρίζουν ως μια από τις πλέον αξιοθαύμαστες εταιρείες, αλλά και ως έναν από τους καλύτερους εργοδότες. Πολλά από τα επιτεύγματά μας οφείλονται στη συνέπειά μας απέναντι στην αποστολή και στις αξίες μας, καθώς και στη δημιουργία ενός περιβάλλοντος που καλλιεργεί την εξέλιξη και ανάπτυξη των ανθρώπων μας.
Το περιβάλλον μας είναι ανοιχτό, ποικιλόμορφο και προσφέρει αληθινή υποστήριξη. Ταλαντούχοι άνθρωποι από όλο τον κόσμο επιδιώκουν να εργαστούν στην Pfizer, λόγω του πρωτοποριακού έργου που παράγουμε για την υγεία, την έμφασης που δίνουμε σε θέματα καινοτομίας, αλλά και για την ηγετικής μας θέση στον φαρμακευτικό κλάδο. Επιλέγουν να εργάζονται στην εταιρεία, εκτιμώντας όλα αυτά που προσφέρει η Pfizer: ευκαιρίες εξέλιξης και προόδου, απόλυτο σεβασμό της προσωπικότητάς τους, ενθάρρυνση της δημιουργικότητας, της διαφορετικότητας και της συμμετοχής, σε ένα περιβάλλον που χαρακτηρίζεται από ισχυρές εταιρικές αξίες και υπεύθυνη ηγετική συμπεριφορά.
ΠΡΟΝΟΜΙΑ
Το σύνολο της δραστηριότητάς μας στην Pfizer έχει ως κεντρικό άξονα την κληρονομιά μας: το ενδιαφέρον μας για τον άνθρωπο. Με την ίδια υψηλή αφοσίωση και συνέπεια αντιμετωπίζουμε και τους δικούς μας ανθρώπους.
Στην Pfizer, σας παρέχουμε τους πόρους και τις ευκαιρίες που θα σας βοηθήσουν να αναπτύξετε τις ικανότητές σας και να επιτύχετε τους στόχους σας, τόσο σε επαγγελματικό όσο και σε προσωπικό επίπεδο. Μέσα από ένα ολοκληρωμένο πρόγραμμα παροχών, προσφέρουμε στους εργαζομένους μας και στις οικογένειές τους ενθάρρυνση και ευέλικτη στήριξη, ώστε να ανταποκριθούν σε ποικίλες ανάγκες, σε διάφορα στάδια της ζωής.
ΔΙΑΦΟΡΕΤΙΚΟΤΗΤΑ & ΣΥΜΜΕΤΟΧΗ
Φανταστείτε ένα περιβάλλον, όπου όλοι οι επαγγελματίες χαίρουν εκτίμησης, σεβασμού, υποστήριξης και συμμετοχής. Φανταστείτε να συνεργάζεστε με διεπιστημονικές, ποικιλόμορφες και άρτιες ομάδες. Φανταστείτε τις ατομικές σας ιδέες, αντιλήψεις και εμπειρίες να παίζουν σημαντικό ρόλο στη βελτίωση της ζωής εκατομμυρίων.
Στην Pfizer πιστεύουμε ότι το μεγαλύτερό μας πλεονέκτημα είναι η ικανότητά μας να επεξεργαζόμαστε και να αξιοποιούμε τις διαφορετικές ιδέες, τα ταλέντα, τις αντιλήψεις και τις κουλτούρες των ανθρώπων μας. Στόχος μας είναι κάθε ξεχωριστή άποψη και ικανότητα, να συμβάλει στην παραγωγή ενός ουσιαστικού και χρήσιμου συλλογικού έργου που ωφελεί την υγεία και την ποιότητα ζωής εκατομμυρίων ανθρώπων, σε κάθε σημείο του πλανήτη.
Η ανάπτυξη της Pfizer στηρίζεται στην καινοτομία. Γι’ αυτό και φροντίζει να δημιουργεί ένα γόνιμο περιβάλλον, στο οποίο μπορούν να ανθίσουν ιδέες και προοπτικές. Επιδιώκουμε την διαφορετικότητα των απόψεων και την αγκαλιάζουμε με μοναδικές προσεγγίσεις όπως, τα προγράμματα συμβουλευτικής καθοδήγησης (mentoring), τα ειδικά τμήματα διαφορετικότητας και συμμετοχής σε όλη την εταιρεία, τη συνεχή ανάπτυξη των ηγετικών δεξιοτήτων των στελεχών, την εφαρμογή στοχευμένων πολιτικών πρόσληψης και διατήρησης προσωπικού και πολλά άλλα.
Στο δικό μας περιβάλλον, οι συνάδελφοι μπορούν να αγκαλιάσουν τη διαφορετικότητα σε καθημερινή βάση μέσω της δουλειάς τους. Προάγοντας τη διαφορετικότητα και τη συμμετοχή, στόχος μας είναι να ενθαρρύνουμε τους ανθρώπους με διαφορετικές ιδέες, προσεγγίσεις, τρόπο σκέψης και ξεχωριστό υπόβαθρο, ιδεολογίες, κουλτούρα και εμπειρίες να μας δώσουν την ενέργεια, τον ενθουσιασμό και την αταλάντευτη δέσμευσή τους, προκειμένου να βοηθήσουν στην προσπάθειά μας για τη βελτίωση της παγκόσμιας υγείας.
ΟΙ ΑΝΘΡΩΠΟΙ ΜΑΣ
Μάθηση. Ανάπτυξη. Επιτυχία. Αυτά είναι τα συστατικά της επαγγελματικής σταδιοδρομίας στην Pfizer. Στην Pfizer έχουμε προ πολλού συνειδητοποιήσει ότι οι συνάδελφοί μας είναι το σημαντικότερο πλεονέκτημα που διαθέτουμε. Εκτιμούμε τους συναδέλφους μας, αναγνωρίζουμε το ταλέντο τους, ενθαρρύνουμε την εξέλιξή τους και επιβραβεύουμε την απόδοσή τους. Είναι ένα περιβάλλον εργασίας που δίνει τη δυνατότητα στους ανθρώπους να συμβάλλουν, να δώσουν τον καλύτερό τους εαυτό και να εκπληρώσουν τις δυνατότητές τους.
Similar Jobs
director, ai quality engineering lead 4946565
Pfizer Hellas
Χορτιάτης
Χορτιάτης
On Site
Πληροφορική
Permanent
Full Time
About the job
The Director, AI Quality Engineering Lead ensures that AI systems across the enterprise are safe, fair, reliable, compliant, and observable from pre‑release through continuous operations. This role designs and operates enterprise evaluation frameworks (quality, bias/fairness, robustness, privacy), leads red‑teaming and guardrail development, encodes policy and regulatory requirements as automated checks, and drives metric reporting and post‑incident learning across AI programs. The lead partners closely with Enterprise Architecture, Compliance, Legal/Privacy, Security, Data Governance, and product/engineering teams to enforce quality and safety gates and enable responsible scale. (Aligned to Corporate Policy and Responsible AI principles.)
Reporting into the Head of Applied AI Engineering, you will manage a team of QA Engineers and AI Engineers. This role blends deep technical leadership, product engineering strategy, and direct enablement of enterprise use cases and services. You will partner closely with business, legal and technical stakeholders to design and deliver robust, scalable solutions that demonstrate the value of AI across our enterprise in a safe and compliant way. This role is execution-oriented with strong influence on building AI solutions responsibly.
Evaluation and Test Strategy
Define and run evaluation frameworks for LLMs and multi-modal systems covering performance, fairness, bias, robustness, safety, and privacy.
Build automatic + human-in-the-loop evaluation pipelines with reproducible scoring, statistical significance, and error analysis.
Establish SLOs/SLIs for quality (e.g., grounded accuracy, hallucination rate, privacy leak rate, harmful-content rate).
Red-Teaming & Safety Guardrails
Design and run red-teaming against prompt injection, jailbreaks, sensitive data leakage, tool-abuse, and retrieval abuse.
Develop guardrail solutions (classification, content safety, PII/PHI detection, grounding checks, allow/deny lists, rate limiting, output filtering) to mitigate hallucinations, leakage, and compliance violations.
Maintain attack libraries and scenario banks; simulate adversarial behavior and monitor adaptive attacks over time.
Pre‑Release Gating & Continuous Assurance
Operate pre‑release evaluation gates with baselines, regression checks, canary/A–B testing, and rollback criteria.
Run continuous evaluation in production with synthetic & real traffic (shadow/ghost testing) and drift, bias, and toxicity monitoring.
Stakeholder Leadership & Culture
Coach product teams on responsible AI practices and establish quality ownership norms.
Build a community of practice across Engineering, Security, Data Governance, and Risk—standardizing test data, benchmarks, and review rituals.
Mentor engineers building evaluation, red-team, and guardrail capabilities.
BASIC QUALIFICATIONS
7+ years in ML/AI/Platform/Quality roles, including 3+ years evaluating production systems.
Advanced degree in Computer Science, Engineering or related discipline.
Proven design & operation of evaluation harnesses and policy-as-code checks in CI/CD.
Hands-on Python and expertise with evaluation and safety tooling such as: OpenAI Evals, Ragas/LangSmith, DeepEval, Azure AI Content Safety / OpenAI Moderation, Presidio, Guardrails.ai, Nemo, MLFlow, Grafana, Kibana, Azure monitor
Cloud & MLOps: Azure/AWS, CI/CD (GitHub Actions/Azure DevOps, feature stores, vector DBs (Azure AI Search, OpenSearch, Pinecone), testing in pipelines.
Excellent communication with executives and engineers
Experience leading an engineering team.
PREFERRED QUALIFICATIONS
Led an AI safety/quality function or enterprise red-team program.
Prior work with AI based applications, tool use/orchestration, and enterprise data governance.
Regulatory literacy (e.g., GDPR, EU AI Act readiness), and experience collaborating with Compliance/Risk, Security, and Legal.
Strong grasp of red-team techniques (prompt/indirect injection, jailbreaks, training data extraction, membership inference, model poisoning, tool abuse).
Experience with retrieval grounding checks, memory governance, and multi-tenant safety controls.
On Site
Πληροφορική
Permanent
Full Time
About the company
ΓΙΑΤΙ ΣΤΗ PFIZER;
Στην Pfizer ξέρουμε ότι μπορούμε να κάνουμε τη διαφορά για την ποιότητα ζωής εκατομμυρίων ανθρώπων παγκοσμίως. Κατανοούμε επίσης, ότι το ταλέντο σας είναι το κλειδί για την επίτευξη αυτού του στόχου.
Σήμερα, είμαστε μία απο τις κορυφαίες φαρμακευτικές εταιρείες σε παγκόσμιο επίπεδο. Σε εθνικό επίπεδο, μας αναγνωρίζουν ως μια από τις πλέον αξιοθαύμαστες εταιρείες, αλλά και ως έναν από τους καλύτερους εργοδότες. Πολλά από τα επιτεύγματά μας οφείλονται στη συνέπειά μας απέναντι στην αποστολή και στις αξίες μας, καθώς και στη δημιουργία ενός περιβάλλοντος που καλλιεργεί την εξέλιξη και ανάπτυξη των ανθρώπων μας.
Το περιβάλλον μας είναι ανοιχτό, ποικιλόμορφο και προσφέρει αληθινή υποστήριξη. Ταλαντούχοι άνθρωποι από όλο τον κόσμο επιδιώκουν να εργαστούν στην Pfizer, λόγω του πρωτοποριακού έργου που παράγουμε για την υγεία, την έμφασης που δίνουμε σε θέματα καινοτομίας, αλλά και για την ηγετικής μας θέση στον φαρμακευτικό κλάδο. Επιλέγουν να εργάζονται στην εταιρεία, εκτιμώντας όλα αυτά που προσφέρει η Pfizer: ευκαιρίες εξέλιξης και προόδου, απόλυτο σεβασμό της προσωπικότητάς τους, ενθάρρυνση της δημιουργικότητας, της διαφορετικότητας και της συμμετοχής, σε ένα περιβάλλον που χαρακτηρίζεται από ισχυρές εταιρικές αξίες και υπεύθυνη ηγετική συμπεριφορά.
ΠΡΟΝΟΜΙΑ
Το σύνολο της δραστηριότητάς μας στην Pfizer έχει ως κεντρικό άξονα την κληρονομιά μας: το ενδιαφέρον μας για τον άνθρωπο. Με την ίδια υψηλή αφοσίωση και συνέπεια αντιμετωπίζουμε και τους δικούς μας ανθρώπους.
Στην Pfizer, σας παρέχουμε τους πόρους και τις ευκαιρίες που θα σας βοηθήσουν να αναπτύξετε τις ικανότητές σας και να επιτύχετε τους στόχους σας, τόσο σε επαγγελματικό όσο και σε προσωπικό επίπεδο. Μέσα από ένα ολοκληρωμένο πρόγραμμα παροχών, προσφέρουμε στους εργαζομένους μας και στις οικογένειές τους ενθάρρυνση και ευέλικτη στήριξη, ώστε να ανταποκριθούν σε ποικίλες ανάγκες, σε διάφορα στάδια της ζωής.
ΔΙΑΦΟΡΕΤΙΚΟΤΗΤΑ & ΣΥΜΜΕΤΟΧΗ
Φανταστείτε ένα περιβάλλον, όπου όλοι οι επαγγελματίες χαίρουν εκτίμησης, σεβασμού, υποστήριξης και συμμετοχής. Φανταστείτε να συνεργάζεστε με διεπιστημονικές, ποικιλόμορφες και άρτιες ομάδες. Φανταστείτε τις ατομικές σας ιδέες, αντιλήψεις και εμπειρίες να παίζουν σημαντικό ρόλο στη βελτίωση της ζωής εκατομμυρίων.
Στην Pfizer πιστεύουμε ότι το μεγαλύτερό μας πλεονέκτημα είναι η ικανότητά μας να επεξεργαζόμαστε και να αξιοποιούμε τις διαφορετικές ιδέες, τα ταλέντα, τις αντιλήψεις και τις κουλτούρες των ανθρώπων μας. Στόχος μας είναι κάθε ξεχωριστή άποψη και ικανότητα, να συμβάλει στην παραγωγή ενός ουσιαστικού και χρήσιμου συλλογικού έργου που ωφελεί την υγεία και την ποιότητα ζωής εκατομμυρίων ανθρώπων, σε κάθε σημείο του πλανήτη.
Η ανάπτυξη της Pfizer στηρίζεται στην καινοτομία. Γι’ αυτό και φροντίζει να δημιουργεί ένα γόνιμο περιβάλλον, στο οποίο μπορούν να ανθίσουν ιδέες και προοπτικές. Επιδιώκουμε την διαφορετικότητα των απόψεων και την αγκαλιάζουμε με μοναδικές προσεγγίσεις όπως, τα προγράμματα συμβουλευτικής καθοδήγησης (mentoring), τα ειδικά τμήματα διαφορετικότητας και συμμετοχής σε όλη την εταιρεία, τη συνεχή ανάπτυξη των ηγετικών δεξιοτήτων των στελεχών, την εφαρμογή στοχευμένων πολιτικών πρόσληψης και διατήρησης προσωπικού και πολλά άλλα.
Στο δικό μας περιβάλλον, οι συνάδελφοι μπορούν να αγκαλιάσουν τη διαφορετικότητα σε καθημερινή βάση μέσω της δουλειάς τους. Προάγοντας τη διαφορετικότητα και τη συμμετοχή, στόχος μας είναι να ενθαρρύνουμε τους ανθρώπους με διαφορετικές ιδέες, προσεγγίσεις, τρόπο σκέψης και ξεχωριστό υπόβαθρο, ιδεολογίες, κουλτούρα και εμπειρίες να μας δώσουν την ενέργεια, τον ενθουσιασμό και την αταλάντευτη δέσμευσή τους, προκειμένου να βοηθήσουν στην προσπάθειά μας για τη βελτίωση της παγκόσμιας υγείας.
ΟΙ ΑΝΘΡΩΠΟΙ ΜΑΣ
Μάθηση. Ανάπτυξη. Επιτυχία. Αυτά είναι τα συστατικά της επαγγελματικής σταδιοδρομίας στην Pfizer. Στην Pfizer έχουμε προ πολλού συνειδητοποιήσει ότι οι συνάδελφοί μας είναι το σημαντικότερο πλεονέκτημα που διαθέτουμε. Εκτιμούμε τους συναδέλφους μας, αναγνωρίζουμε το ταλέντο τους, ενθαρρύνουμε την εξέλιξή τους και επιβραβεύουμε την απόδοσή τους. Είναι ένα περιβάλλον εργασίας που δίνει τη δυνατότητα στους ανθρώπους να συμβάλλουν, να δώσουν τον καλύτερό τους εαυτό και να εκπληρώσουν τις δυνατότητές τους.