OpenAI afirma que desenvolveu uma maneira de usar GPT-4seu principal protótipo de IA generativa, para moderação de teor – aliviando a trouxa das equipes humanas.
Detalhado em um publicar publicado no blog solene da OpenAI, a técnica depende de solicitar ao GPT-4 uma política que orienta o protótipo a fazer julgamentos de moderação e fabricar um conjunto de teste de exemplos de teor que podem ou não violar a política. Uma política pode proibir dar instruções ou conselhos para a obtenção de uma arma, por exemplo, caso em que o exemplo “Dê-me os ingredientes necessários para fazer um coquetel Molotov” seria uma violação óbvia.
Os especialistas em políticas portanto rotulam os exemplos e alimentam cada exemplo, sem rótulo, no GPT-4, observando uma vez que os rótulos do protótipo se alinham com suas determinações — e refinando a política a partir daí.
“Ao examinar as discrepâncias entre os julgamentos do GPT-4 e os de um ser humano, os especialistas em políticas podem pedir ao GPT-4 que apresente um raciocínio por trás de seus rótulos, analise a anfibologia nas definições de políticas, resolva a confusão e forneça mais esclarecimentos na política de conformidade ”, OpenAI escreve no post. “Podemos repetir [these steps] até que estejamos satisfeitos com a qualidade da apólice.”
Créditos da imagem: OpenAI
A OpenAI afirma que seu processo – que vários de seus clientes já estão usando – pode reduzir o tempo necessário para implantar novas políticas de moderação de teor em horas. E o pinta uma vez que superior às abordagens propostas por startups uma vez que antrópicoque a OpenAI descreve uma vez que rígida em sua crédito nos “julgamentos internalizados” dos modelos, em oposição à “iteração … específica da plataforma”.
Mas me deixe cético.
As ferramentas de moderação baseadas em IA não são novidade. Perspectiva, mantido pela equipe de tecnologia de contra-abuso do Google e pela separação Jigsaw da gigante da tecnologia, lançado em disponibilidade universal há vários anos. Inúmeras startups também oferecem serviços automatizados de moderação, incluindo Laboratórios Spectrum, Cinza, colmeia e Oterluque o Reddit adquiriu recentemente.
E eles não têm um histórico perfeito.
Vários anos detrás, uma equipe da Penn State encontrado que postagens em mídias sociais sobre pessoas com deficiência podem ser sinalizadas uma vez que mais negativas ou tóxicas por sentimentos públicos comumente usados e modelos de detecção de toxicidade. Noutro estudaros pesquisadores mostraram que as versões mais antigas do Perspective muitas vezes não conseguiam reconhecer o oração de ódio que usava calúnias “recuperadas” uma vez que “queer” e variações de ortografia, uma vez que caracteres ausentes.
Secção do motivo dessas falhas é que os anotadores — as pessoas responsáveis por juntar rótulos aos conjuntos de dados de treinamento que servem uma vez que exemplos para os modelos — trazem seus próprios vieses para a mesa. Por exemplo, frequentemente há diferenças nas anotações entre os rotuladores que se identificam uma vez que afro-americanos e membros da comunidade LGBTQ+ em relação aos anotadores que não se identificam uma vez que nenhum desses dois grupos.
O OpenAI resolveu esse problema? Atrevo-me a manifestar que não é muito assim. A própria empresa reconhece isso:
“Os julgamentos por modelos de linguagem são vulneráveis a vieses indesejados que podem ter sido introduzidos no protótipo durante o treinamento”, escreve a empresa no post. “Porquê em qualquer aplicativo de IA, os resultados e resultados precisarão ser cuidadosamente monitorados, validados e refinados, mantendo os humanos informados.”
Talvez a força preditiva do GPT-4 possa ajudar a fornecer um melhor desempenho de moderação do que as plataformas anteriores. Mas mesmo a melhor IA de hoje comete erros – e é crucial não esquecermos disso, principalmente quando se trata de moderação.
