Nyhet

Hälso- och sjukvården ska kontrollera AI-systemen – inte tvärtom

Förra året antogs EU:s AI-akt, världens första heltäckande lagstiftning om artificiell intelligens. Vad innebär lagstiftningen för svensk hälso- och sjukvård och vilka är utmaningarna?

I december förra året arrangerade Uppsala universitet en konferens om den nya EU-förordningens innehåll och betydelse. Intresset var stort. Konferensen var öppen för forskare, men också myndigheter och de som på olika sätt arbetar inom fältet.

– AI-akten är en ny omfattande förordning som trädde i kraft 2024 och täcker många olika sektorer. Den riktar sig till de som levererar och tillhandahåller AI-systemen. Tillämpningen av lagstiftningen kommer att ske stegvis fram till 2027, säger Santa Slokenberga, universitetslektor i förvaltningsrätt och docent i medicinsk rätt vid Uppsala universitet, och en av initiativtagarna till konferensen.

Vissa delar av förordningen har redan börjat gälla, exempelvis reglerna om AI-kunnighet samt förbudet mot AI-system som utgör oacceptabla risker och anses utgöra ett hot mot människor.

Även kraven på högrisksystem som har en negativ påverkan på vår säkerhet eller våra grundläggande rättigheter skärps. Det handlar främst om sektorer som har med exempelvis brottsbekämpning, rättskipning och kritisk infrastruktur att göra. Men det kan också handla om AI-system som rör hälso- och sjukvården; exempelvis system som klassas som medicintekniska produkter och används för diagnostisering och behandling av sjukdom. I AI-akten finns en metod för klassificering av AI-system med hög risk.

Santa Slokenberga, universitetslektor i förvaltningsrätt och docent i medicinsk rätt vid Uppsala universitet, och en av initiativtagarna till konferensen AI-ACT 2024 i Uppsala

– Innan ett AI-system med hög risk släpps ut på EU-marknaden eller på annat sätt tas i bruk, måste leverantörerna visa att systemen följer regelverket och uppfyller de obligatoriska kraven på tillförlitlig AI, exempelvis datakvalitet, dokumentation och spårbarhet, transparens och mänsklig granskning, säger Santa Slokenberga.

Förordningen ställer exempelvis höga krav på testning, säkerhet och mänsklig kontroll. Det innebär i korthet att människan ska kunna ingripa i driften och sätta stopp för användningen av AI-system om nödvändigt. Syftet är att minimera risker för hälsa, säkerhet eller grundläggande rättigheter som kan uppstå vid användning av dessa system, menar Santa Slokenberga.

– Förenklat kan man säga att det är hälso- och sjukvårdspersonal som ska kontrollera AI-systemen och inte tvärtom. Den stora förhoppningen är att EU-förordningen ska bidra till att vi får säkra produkter med hög tillförlitlighet på marknaden.

Läkemedelsverket är en av de myndigheter som arbetar intensivt med den nya EU- förordningen. Gabriel Westman leder myndighetens arbete inom AI. I grunden är han specialistläkare och docent i infektionssjukdomar och civilingenjör.

– Vi arbetar huvudsakligen med förordningen utifrån hur den samspelar med den EU-gemensamma läkemedelslagstiftningen och medicinteknikförordningarna MDR och IVDR. AI-akten är en horisontell lagstiftning som tillämpas ovanpå annan lagstiftning. Just nu arbetar vi med att försöka tydliggöra definitionen av högriskprodukter och hur kraven samspelar med övrig lagstiftning.

– Det här är ju en ny lagstiftning och sannolikt kommer det att behövas klargörande dokument och kanske även prejudicerande domar innan rättsläget är helt tydligt.

Gabriel Westman tror att AI-förordningen kommer att ha en ganska begränsad påverkan på de produkter som används för diagnostik och behandling i hälso- och sjukvården, då dessa redan regleras utifrån förordningen om medicintekniska produkter (MDR) och medicintekniska produkter för in vitro-diagnostik (IVDR).

– Definitionen av en medicinteknisk produkt är inte enkel, men kortfattat kan man säga att det är teknik och produkter som påverkar den specifika patientsituationen och används för diagnostik eller behandling. Det kan handla om fysiska produkter som skalpeller och pacemakers, men också mjukvara för exempelvis triage, beslutsstöd, radiologi och journalsystem som innehåller diagnostisk funktionalitet eller rösttolkning för journalföring.

Gabriel Westman, vetenskaplig ledare för AI på Läkemedelsverket.

Här finns redan en detaljerad reglering på EU-nivå som i flera avseenden ställer krav på dokumentation, transparens och evidens för en positiv balans mellan nytta och risk för patienten.

– Det är framför allt de produkter och system i vården som inte omfattas MDR och IVDR som nu kan komma att omfattas av nya krav utifrån AI-förordningen.

Samtliga medicintekniska produkter ska vara CE-märkta för att få släppas ut på marknaden, och egentillverkade system omfattas av samma krav, men begränsas vad gäller överlåtbarhet. Men inför lanseringen av journalsystemet Millenium uppdagades att journalsystemet inte var CE-märkt. Gabriel Westman vill inte kommentera enskilda produkter, men säger:

– Vi har kämpat med följsamhetsfrågan i många år och här krävs det ännu mer utbildning och kunskap, framför allt hos dem som upphandlar den här typen av produkter.

AI-akten ställer höga krav på transparens. Kommer så kallade foundation models, som exempelvis Chat GPT och den mer avancerade modellen GPT-4, att kunna bli godkända som medicintekniska produkter, eftersom det inte går att peka ut vilka specifika data som modellerna tränats på?

– Frågan om vad de stora AI-leverantörerna kan eller inte kan uppfylla vid en bedömning om konvergens i förhållande till MDR/IVDR inför CE-märkning tror jag är delvis fel ställd. Det handlar nog snarare om huruvida de är tillräckligt intresserade av att få CE-märkning för medicinskt bruk, för att acceptera att visa upp så stora delar av sina system och källdata som krävs för att en bedömning ska kunna ske.

Att genomgå bedömning för CE-märkning är i sig valfritt, men krävs för många produktkategorier för att de över huvud taget ska få säljas/tillhandahållas inom EU. Man får inte använda inte några produkter, tjänster, system för diagnostik och behandling i vården om de inte uppfyller kraven enligt MDR/IVDR för rätt riskklass, och är granskade av anmält organ om riskklassen kräver detta.

– Det går förstås att använda icke-medicintekniska produkter till annat än diagnostik och behandling. Vården har ju många andra administrativa och understödjande processer som inte består av diagnostik eller behandling av en specifik patient. Men i ett sådant fall kan ett system ändå komma att klassas som högrisk enligt AI-förordningen, och omfattas av krav utifrån det, säger Gabriel Westman.

Fotnot: Läs mer om användning av AI i sjukvården

Analyser, reportage, debatt och nyheter från sjukhusvärlden Vi ser till att hålla dig i händelsernas centrum

GDPR

Sjukhusläkaren

Nyheter, debatter & reportage från sjukhusvärlden

Prenumerera