Generative AI Product Management: Wie sieht LLM Product Management in der operativen Praxis aus? – Till Scholich zu Gast (Product @ Ficus Health, ex Stanford Research Assistant)
🎯 Summary
Generative AI Product Management: Wie sieht LLM Product Management in der operativen Praxis aus? – Till Scholich zu Gast
This podcast episode features Till Scholich, Senior Product Manager at the AI-first startup Ficus Health, discussing the practical realities of Product Management within an environment heavily reliant on Large Language Models (LLMs). Drawing from his operational experience and academic background (Stanford, University of Michigan), Scholich contrasts traditional deterministic product development with the probabilistic nature of GenAI-driven products, focusing heavily on prompt management, data structure, and the unique challenges in the health tech sector.
1. Focus Area
The discussion centers on Generative AI Product Management (LLM Product Management) in an operational, AI-first context, specifically within the German healthcare/rehabilitation (Reha-Kliniken) documentation sector. Key themes include data architecture for LLMs, prompt engineering and management, model evaluation, and the strategic implications of being an “AI-First” company.
2. Key Technical Insights
- Data Structure for LLMs: AI-First companies gain an advantage by designing data models and structures from the ground up to be easily consumable by LLMs (e.g., structuring data along a patient journey to enable AI functions at every step). Traditional systems often struggle due to legacy structures and on-premise data silos, making LLM integration complex.
- Probabilistic Output Management: Unlike deterministic software outputs, LLM results are probabilistic. This necessitates new testing frameworks and methodologies to ensure reliability and minimize variance in outputs, moving beyond traditional QA.
- Prompt Management as Code: Prompts must be treated similarly to code, requiring versioning, modularization (using Templates), and rigorous review processes to manage their significant impact on the final product experience.
3. Business/Investment Angle
- AI-First Advantage: Companies built around modern data architectures have a significant head start in leveraging LLMs compared to established firms needing to retrofit legacy systems.
- Emerging Roles: The necessity for structured prompt management is leading to the creation of new roles, such as the Prompt Engineer (as seen by Ficus Health hiring one), indicating a professionalization of prompt development.
- Rapid Tool Development: The ecosystem around LLM operations (LLMOps) is evolving rapidly, exemplified by tools like Lengfuse and Kösar, which are quickly developing features (like prompt versioning and rapid prototyping) based on direct user feedback.
4. Notable Companies/People
- Till Scholich: Guest, Senior PM at Ficus Health, bringing both startup operational experience and academic research insight (Stanford, UMich).
- Ficus Health: Till’s current company, building an AI-first product to simplify documentation in German Reha clinics using LLMs for summarizing patient conversations and generating discharge reports.
- Lengfuse: A prompt management tool utilized by Ficus Health for versioning, searching, and templating prompts.
- Kösar: An AI IDE/Coding Agent mentioned as an example of a tool that can rapidly prototype and deploy small features based on user requests, demonstrating fast iteration in the AI tooling space.
5. Future Implications
The conversation suggests that successful AI product development hinges on treating prompt engineering as a core engineering discipline, requiring dedicated tooling (Prompt Management Systems) that mirrors software development practices like Git. The industry is moving toward standardized evaluation frameworks to manage the inherent uncertainty of LLM outputs, especially in high-stakes domains like healthcare.
6. Target Audience
This episode is highly valuable for AI/ML Product Managers, Technical Product Owners, Software Architects, and Founders in AI-first startups or those leading digital transformation efforts in regulated industries (like HealthTech) who need practical insights on operationalizing LLMs beyond simple API calls.
🏢 Companies Mentioned
💬 Key Insights
"Ja, das ist sehr wichtig, die Balance zu finden von Vertrauen und Verifizierung, weil man will ja natürlich Vertrauen aufbauen in das Produkt, weil wenn ich dem Produkt nie vertraue, dann ist es auch nicht viel wert, aber auch nicht zu viel Vertrauen, weil wenn man immer nur sagt, okay, die Zusammenfassung passt, das ist alles richtig und man verifiziert es nie, dann kann es auch zu Problemen führen, weil wir aktuell auf einem Stand sind, wo diese KI-Modelle nicht immer 100% richtig liegen."
"Wie handelt man das in der Produktentwicklung dafür zu sorgen, dass das auf Nutzerseite nicht so leicht passiert an Stellen, wo man den Menschen haben möchte im LLUP?"
"Technologie darf nicht Front & Center erst mal da sein und dann wird sie schon automatisch funktionieren, sondern ja, sie muss helfen, Probleme zu lösen, dann funktioniert sie auch."
"Und der Grund war, dass in diesen Fällen die Prozesse nicht angepasst wurden und es wurde quasi einfach nur dieses Tool dahin geworfen und wurde den Leuten gesagt, bitte nutzt es. Aber dann wurde es quasi neben den bestehenden Prozessen genutzt und dann ist es eigentlich noch mehr Arbeit."
"Man kann ein tolles AI-Produkt entwickeln und designen und es sieht super aus und es hat den Output, den man sich wünscht, aber was wir eine wirklich sehr, sehr große Lektion, die wir gelernt haben, war, dass das Produkt alleine nicht ausreicht, sondern man muss sich auch den Prozess anschauen."
"Das heißt, dass ich jetzt als Arzt oder Ärztin meinen eigenen ChatGPT-Account habe und ich mache mir einige Notizen am Computer und dann habe ich alle die Notizen mit einem kurzen Prompt in ChatGPT und sage, bitte schreibt mir einen Entlassbericht daraus. Das Problem ist, wenn es mein privater ChatGPT-Account ist und da jetzt kein Enterprise dahinter steht, [...] dann gehen diese Daten direkt an die Provider und die können dann für das Training genutzt werden."