Posts Recentes:

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

As pessoas estão usando geradores de música de IA para criar músicas odiosas


Atores maliciosos estão abusando de ferramentas musicais generativas de IA para criar músicas homofóbicas, racistas e propagandísticas – e publicando guias instruindo outras pessoas sobre como fazê-lo.

De acordo com o ActiveFence, um serviço para gerenciar operações de confiança e segurança em plataformas online, tem havido um aumento na conversa em comunidades “relacionadas ao discurso de ódio” desde março sobre maneiras de usar indevidamente ferramentas de criação musical de IA para escrever músicas ofensivas dirigidas a grupos minoritários. As canções geradas pela IA que são partilhadas nestes fóruns e fóruns de discussão visam incitar o ódio contra grupos étnicos, de género, raciais e religiosos, afirmam investigadores da ActiveFence num relatório, ao mesmo tempo que celebram actos de martírio, automutilação e terrorismo.

Canções odiosas e prejudiciais não são um fenômeno novo. Mas o medo é que, com o advento de ferramentas gratuitas de geração de música fáceis de usar, elas sejam feitas em grande escala por pessoas que antes não tinham os meios ou o conhecimento – assim como a imagem, a voz, o vídeo. e os geradores de texto aceleraram a propagação da desinformação, da desinformação e do discurso de ódio.

“Essas são tendências que estão se intensificando à medida que mais usuários aprendem como gerar essas músicas e compartilhá-las com outras pessoas”, disse Noam Schwartz, cofundador e CEO da ActiveFence, ao TechCrunch em entrevista. “Os atores de ameaças estão identificando rapidamente vulnerabilidades específicas para abusar dessas plataformas de diferentes maneiras e gerar conteúdo malicioso.”

Criando músicas de “ódio”

Ferramentas musicais generativas de IA, como Udio e Suno, permitem que os usuários adicionem letras personalizadas às músicas geradas. As salvaguardas nas plataformas filtram calúnias e pejorativos comuns, mas os usuários descobriram soluções alternativas, de acordo com ActiveFence.

Em um exemplo citado no relatório, usuários de fóruns de supremacia branca compartilharam grafias fonéticas de minorias e termos ofensivos, como “jooz” em vez de “judeus” e “diga bronzeado” em vez de “Satanás”, que eles usaram para contornar filtros de conteúdo . Alguns usuários sugeriram alterar o espaçamento e a grafia ao se referir a atos de violência, como substituir “meu estupro” por “macaco lamacento”.

O TechCrunch testou várias dessas soluções alternativas no Udio e no Suno, duas das ferramentas mais populares para criar e compartilhar músicas geradas por IA. Suno deixou todos passarem, enquanto Udio bloqueou alguns – mas não todos – dos homófonos ofensivos.

Contatado por e-mail, um porta-voz da Udio disse ao TechCrunch que a empresa proíbe o uso de sua plataforma para discurso de ódio. Suno não respondeu ao nosso pedido de comentário.

Nas comunidades pesquisadas, a ActiveFence encontrou links para canções geradas por IA que repetiam teorias da conspiração sobre o povo judeu e defendiam o seu assassinato em massa; canções contendo slogans associados aos grupos terroristas ISIS e Al-Qaeda; e canções que glorificam a violência sexual contra as mulheres.

Impacto da música

Schwartz defende que as canções – em oposição, digamos, ao texto – carregam um peso emocional que as torna uma força potente para grupos de ódio e guerras políticas. Ele aponta para Rock Against Communism, a série de concertos de white power rock no Reino Unido no final dos anos 70 e início dos anos 80 que gerou subgéneros inteiros de música “hatecore” anti-semita e racista.

“A IA torna o conteúdo prejudicial mais atraente – pense em alguém pregando uma narrativa prejudicial sobre uma determinada população e depois imagine alguém criando uma música rimada que torna mais fácil para todos cantar e lembrar”, disse ele. “Eles reforçam a solidariedade do grupo, doutrinam membros de grupos periféricos e também são usados ​​para chocar e ofender internautas não afiliados.”

Schwartz apela às plataformas de geração de música para implementarem ferramentas de prevenção e realizarem avaliações de segurança mais extensas. “A equipe vermelha pode potencialmente revelar algumas dessas vulnerabilidades e pode ser feita simulando o comportamento dos atores da ameaça”, disse Schwartz. “Uma melhor moderação de entrada e saída também pode ser útil neste caso, pois permitirá que as plataformas bloqueiem o conteúdo antes de ser compartilhado com o usuário.”

Mas as correções podem ser passageiras à medida que os usuários descobrem novos métodos para derrotar a moderação. Algumas das canções de propaganda terrorista geradas por IA que o ActiveFence identificou, por exemplo, foram criadas usando eufemismos e transliterações em língua árabe – eufemismos que os geradores de música não detectaram, provavelmente porque seus filtros não são fortes em árabe.

A música odiosa gerada pela IA está prestes a se espalhar por toda parte se seguir os passos de outras mídias geradas pela IA. A Wired documentou no início deste ano como um clipe de Adolf Hitler manipulado por IA acumulou mais de 15 milhões de visualizações no X depois de ser compartilhado por um influenciador de conspiração de extrema direita.

Entre outros especialistas, um órgão consultivo da ONU manifestou preocupação com o facto de conteúdos racistas, anti-semitas, islamofóbicos e xenófobos poderem ser sobrecarregados pela IA generativa.

“Os serviços de IA generativa permitem que usuários que não possuem recursos ou habilidades criativas e técnicas criem conteúdo envolvente e divulguem ideias que possam competir pela atenção no mercado global de ideias”, disse Schwartz. “E os atores da ameaça, tendo descoberto o potencial criativo oferecido por esses novos serviços, estão trabalhando para contornar a moderação e evitar serem detectados – e têm tido sucesso.”

Últimas

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

Assine

spot_img

Veja Também

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

O WhatsApp agora permite que empresas enviem códigos de autenticação para usuários na Índia

O WhatsApp agora permite que empresas enviem códigos...
spot_img

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na quinta-feira por supostamente cortar os pneus de 17 robotaxis Waymo em São Francisco entre 24...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi formalmente adquirida pelo SoftBank do Japão.Rumores do acordo abundam há algum tempomas negociações prolongadas e...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta que a IA generativa, a mesma que a gigante de Mountain View está super incentivando,...