Apple scherpt App Store-regels aan over niet-consensuele intieme beelden en AI-nudify-apps

Apple heeft zijn App Review Guidelines (richtlijnen voor appbeoordeling) herzien om expliciet in te gaan op niet-consensuele intieme beelden, waaronder afbeeldingen die met AI-tools zijn gemaakt, volgens een bericht op zijn nieuwssite voor ontwikkelaars. Het bedrijf presenteerde de wijzigingen als een versterking en uitbreiding van bestaande App Store-beschermingen. Apple merkte op dat pornografisch materiaal al lang in de winkel verboden is, en zei dat dit al geldt voor apps die naaktbeelden of seksueel expliciete afbeeldingen produceren, zoals ‘nudificatie’-apps die echte mensen zonder hun toestemming in expliciete beelden afbeelden.

Onder richtlijn 1.2 zei Apple dat zijn vereisten voor contentmoderatie nu niet-consensuele intieme beelden, met AI gegenereerd materiaal inbegrepen, noemen als inhoud die apps proactief moeten voorkomen en verwijderen. Volgens de tekst van de richtlijnen geldt de regel voor apps waarmee mensen inhoud kunnen maken, genereren, uploaden of delen, een groep die expliciet socialemediadiensten, platforms voor door gebruikers gegenereerde inhoud en apps voor AI-contentcreatie omvat. Zulke apps moeten een manier bieden om aanstootgevend materiaal te filteren voordat het wordt geplaatst, een systeem om beledigende inhoud te melden met tijdige reacties, een manier om misbruik plegende gebruikers te blokkeren, en gepubliceerde contactgegevens.

Apple zei dat ontwikkelaars die geen adequate waarborgen hebben, of die overtredingen na een melding niet verhelpen, in strijd met de Developer Code of Conduct (gedragscode voor ontwikkelaars) bevonden kunnen worden en uit de App Store verwijderd kunnen worden. De richtlijnen beschrijven de procedure: als Apple inhoud aantreft die de regels schendt, vraagt het de ontwikkelaar om die te verwijderen en een plan te leveren om de naleving te verbeteren. Afhankelijk van de reactie kan de app uit de winkel worden gehaald totdat de ontwikkelaar verbeteringen kan aantonen, en flagrant of herhaald gedrag kan leiden tot onmiddellijke verwijdering van de app en uitsluiting uit het Apple Developer Program.

Een tweede wijziging betreft richtlijn 2.5.19, die volgens Apple een al lang bestaand verbod verduidelijkt op apps die hun functie tijdens de App Review verkeerd voorstellen en na goedkeuring veranderen, bijvoorbeeld door functies toe te voegen die in de ingediende versie ontbraken. Het bericht van Apple noemt deze tactiek bait-and-switch (lokken en daarna omwisselen) en noemt nudificatiefuncties die na goedkeuring aan het licht komen als voorbeeld. De tekst van de richtlijnen stelt dat apps geen verborgen, slapende of ongedocumenteerde functies mogen bevatten, noemt code-obfuscatie als een van de methoden om iets te verbergen, en waarschuwt voor verwijdering uit de winkel en beëindiging van het ontwikkelaarsaccount. Engadget plaatste de regel vooral in het kader van apps die nudificatiefuncties verbergen.

Apple zei ook dat het Sectie 5 van de richtlijnen heeft bijgewerkt om vast te leggen dat apps die mensenhandel of kinderuitbuiting mogelijk maken, inclusief materiaal van seksueel kindermisbruik, uit de App Store worden gehaald en ook van alternatieve distributie worden uitgesloten; het bedrijf zei dat zulke apps altijd al verboden waren. Over handhaving zei Apple dat het vorig jaar meer dan 150K apps met veiligheidsproblemen bij gebruikers weghield en meer dan 193K ontwikkelaarsaccounts sloot wegens fraude en misbruik. Het schreef deze overtredingen toe aan kwaadwillende actoren, in sommige gevallen gecoördineerde fraudeoperaties, die schadelijke inhoud verbergen tot nadat een app is goedgekeurd.