About the Role
At Kanguru Digital, we help businesses grow through custom digital solutions—from high-performing websites to complex web applications, ERP systems, and AI-driven tools. With over 20 years of experience, we partner with clients to design and build scalable products that solve real business challenges and deliver measurable results.
We're building a new AI-powered SaaS platform and are looking for someone who owns quality while helping shape the product. This hybrid role combines QA and product ownership. Your primary focus is QA—establishing testing standards for a fast-moving AI product. Your second is product ownership: helping prioritize the backlog, refine acceptance criteria, and turn insights from testing and customers into better product decisions.
You'll know this product better than almost anyone and use that knowledge to protect quality and help steer what we build next. You'll work with developers, designers, and leadership while providing valuable insights to marketing and sales—what resonates, where users get stuck, and what deserves to be front and center.
This role is ideal for a QA professional who wants more than closing tickets: someone with strong product instincts, commercial curiosity, and a desire to help shape product direction.
What You'll Do
Quality (your primary focus)
- Define and implement our QA strategy from the ground up
- Design, develop, and execute test plans, cases, and scripts for new features and releases
- Perform manual testing (functional, regression, integration, API)
- Build and maintain test automation (e.g., Cypress, Playwright, Selenium)
- Conduct API testing (Postman or similar REST clients) and backend validation
- Identify, document, and track bugs (Jira, Linear, or similar)
- Establish QA best practices and embed quality across the whole team
Testing an AI product (what makes this role different)
- Define what "a bug" even means when outputs are AI-generated and non-deterministic — distinguishing real defects from acceptable variation
- Build lightweight evaluation ("evals") approaches to measure AI answer quality, accuracy, and safety over time
- Test conversational quality across text, voice, and phone channels — including latency, interruptions, and hand-offs to a human
- Validate retrieval quality (RAG): is the assistant answering from the right knowledge, in the right language?
- Test multi-language behavior — the product operates in many languages at once
Product (secondary, and growing)
- Help own and prioritize the backlog; write and refine acceptance criteria alongside developers
- Translate customer pain, test findings, and usage data into clear product recommendations
- Participate in Agile ceremonies (sprint planning, standups, retrospectives)
- Feed insight to marketing and sales — what works, what confuses users, what to highlight — as a contributor to go-to-market, partnering with the marketing team
What We're Looking For
- 3+ years of QA experience in a SaaS or software company (required)
- Strong understanding of the software development lifecycle (SDLC) and Agile methodologies
- Hands-on experience with test automation tools/frameworks
- Experience with API testing and backend validation
- Familiarity with bug tracking tools (e.g., Jira, Linear)
- Basic programming/scripting skills (JavaScript, Python, or similar)
- Product instincts: you think about why a feature exists and who it's for, not just whether it works
- A clear communicator who can talk to developers, leadership, and non-technical stakeholders alike
- Comfortable with ambiguity and change — this is an evolving, early-stage AI product
Nice to Have
- Experience testing AI/LLM products, chatbots, or voice applications
- Familiarity with prompt evaluation, LLM evals, or measuring AI output quality
- Product owner / product management exposure (backlog ownership, roadmap input)
- Experience with CI/CD pipelines
- Performance or load testing
- Familiarity with cloud environments (AWS, GCP, Azure)
- Knowledge of accessibility or security testing
- Commercial or marketing awareness — you see how quality and product decisions connect to sales
- Bilingual (English / French)
Why Join Us
You'll join a collaborative team where quality is everyone's responsibility—not just QA's. This is a rare role with real breadth: you'll own quality and influence product direction on an AI platform that's still taking shape. Your work will directly impact product reliability, customer experience, and company growth.
---------------------------------------------------------------
À propos du poste
Chez Kanguru Digital, nous aidons les entreprises à croître grâce à des solutions numériques sur mesure, allant de sites web performants à des applications web complexes, des systèmes ERP et des outils propulsés par l'IA. Forts de plus de 20 ans d'expérience, nous collaborons avec nos clients pour concevoir et développer des produits évolutifs qui répondent à de véritables enjeux d'affaires et génèrent des résultats concrets.
Nous développons une nouvelle plateforme SaaS propulsée par l'IA et recherchons une personne qui assurera la qualité du produit tout en contribuant à son évolution. Ce rôle hybride combine l'assurance qualité (QA) et le product ownership. Votre priorité sera le QA : établir les standards de test pour un produit d'IA en évolution rapide. Votre second volet consistera à contribuer au product ownership en aidant à prioriser le backlog, à préciser les critères d'acceptation et à transformer les apprentissages tirés des tests et des retours clients en meilleures décisions produit.
Vous connaîtrez ce produit mieux que presque quiconque et mettrez cette expertise au service de deux objectifs : garantir la qualité et contribuer à orienter son évolution. Vous collaborerez avec les développeurs, les designers et la direction, tout en apportant des informations précieuses aux équipes marketing et ventes : ce qui résonne auprès des utilisateurs, où ils rencontrent des difficultés et ce qui mérite d'être mis de l'avant.
Ce poste est idéal pour un professionnel du QA qui souhaite aller au-delà de la fermeture de tickets : une personne dotée d'un solide instinct produit, d'une curiosité commerciale et de l'envie de contribuer activement à l'orientation du produit.
Vos responsabilités
Qualité (votre priorité)
- Définir et mettre en place notre stratégie QA à partir de zéro
- Concevoir, développer et exécuter des plans, cas et scripts de test pour les nouvelles fonctionnalités et les mises en production
- Effectuer des tests manuels (fonctionnels, de régression, d'intégration, API)
- Créer et maintenir l'automatisation des tests (ex. Cypress, Playwright, Selenium)
- Effectuer des tests d'API (Postman ou autres clients REST) et de la validation backend
- Identifier, documenter et suivre les anomalies (Jira, Linear ou équivalent)
- Établir les meilleures pratiques QA et intégrer la qualité dans toute l'équipe
Tester un produit d'IA (ce qui distingue ce poste)
- Définir ce qu'est réellement « une anomalie » lorsque les réponses sont générées par l'IA et non déterministes — distinguer les vrais défauts des variations acceptables
- Mettre en place des approches d'évaluation légères (« evals ») pour mesurer dans le temps la qualité, l'exactitude et la sûreté des réponses de l'IA
- Tester la qualité conversationnelle sur les canaux texte, voix et téléphone — incluant la latence, les interruptions et les transferts vers un humain
- Valider la qualité de la recherche documentaire (RAG) : l'assistant répond-il à partir des bonnes connaissances, dans la bonne langue ?
- Tester le comportement multilingue — le produit fonctionne dans plusieurs langues simultanément
Produit (volet secondaire, appelé à grandir)
- Aider à gérer et prioriser le backlog ; rédiger et préciser les critères d'acceptation avec les développeurs
- Traduire les difficultés des clients, les résultats de tests et les données d'utilisation en recommandations produit claires
- Participer aux cérémonies Agile (planification de sprint, mêlées quotidiennes, rétrospectives)
- Alimenter le marketing et les ventes — ce qui fonctionne, ce qui déroute les utilisateurs, ce qu'il faut valoriser — à titre de collaborateur, en partenariat avec l'équipe marketing
Profil recherché
- Minimum de 3 ans d'expérience en QA dans une entreprise SaaS ou de développement logiciel (obligatoire)
- Bonne compréhension du cycle de vie du développement logiciel (SDLC) et des méthodologies Agile
- Expérience concrète avec des outils/frameworks d'automatisation de tests
- Expérience en tests d'API et en validation backend
- Familiarité avec les outils de suivi des anomalies (ex. Jira, Linear)
- Compétences de base en programmation/script (JavaScript, Python ou équivalent)
- Instinct produit : vous réfléchissez au pourquoi d'une fonctionnalité et à qui elle s'adresse, pas seulement à savoir si elle fonctionne
- Communicateur clair, à l'aise autant avec les développeurs qu'avec la direction et les parties prenantes non techniques
- À l'aise avec l'ambiguïté et le changement — il s'agit d'un produit d'IA en début de parcours, en constante évolution
Atouts
- Expérience de test de produits d'IA/LLM, d'agents conversationnels ou d'applications vocales
- Familiarité avec l'évaluation de prompts, les « evals » de LLM ou la mesure de la qualité des réponses d'IA
- Expérience en tant que product owner / gestion de produit (gestion de backlog, contribution à la feuille de route)
- Expérience avec les pipelines CI/CD
- Tests de performance ou de charge
- Familiarité avec les environnements infonuagiques (AWS, GCP, Azure)
- Connaissances en tests d'accessibilité ou de sécurité
- Sensibilité commerciale ou marketing — vous percevez le lien entre les décisions de qualité/produit et les ventes
- Bilingue (français / anglais)
Pourquoi nous rejoindre
Vous ferez partie d'une équipe collaborative où la qualité est l'affaire de tous — et pas seulement de l'équipe QA. C'est un rôle rare, offrant une réelle polyvalence : vous serez responsable de la qualité et vous influencerez l'orientation du produit d'une plateforme d'IA encore en développement. Votre travail aura un impact direct sur la fiabilité des produits, l'expérience client et la croissance de l'entreprise.
Pay: $60,000.00-$70,000.00 per year
Benefits:
- Casual dress
- On-site parking
- Paid time off
Work Location: Hybrid remote in Montréal, QC
