A Microsoft abriu o jogo na disputa acirrada entre os gigantes da tecnologia. Segundo a empresa, seu modelo GPT-4 da OpenAI tem o potencial de superar o poderoso Google Gemini Ultra com a aplicação de novas técnicas de prompt.
Recentemente, a equipe de pesquisa da Microsoft desenvolveu o Medprompt, uma combinação de estratégias de prompt que impulsionam o desempenho do GPT-4, alcançando resultados de ponta no MultiMedQA.
A Microsoft não parou por aí. Após o sucesso do Medprompt, a empresa expandiu suas técnicas de prompt para outros domínios.
Utilizando uma versão modificada do Medprompt, o GPT-4 atingiu a pontuação mais alta já registrada no MMLU (compreensão linguística multitarefa em massa).
| Referência | Alerta GPT-4 | Resultados GPT-4 | Resultados do Gemini Ultra |
|---|---|---|---|
| MMLU | MedPrompt+ | 90,10% | 90,04% |
| GSM8K | Tiro zero | 95,27% | 94,4% |
| MATEMÁTICA | Tiro zero | 68,42% | 53,2% |
| Avaliação Humana | Tiro zero | 87,8% | 74,4% |
| BIG-Banco-Duro | Poucos tiros + CoT* | 89,0% | 83,6% |
| DERRUBAR | Tiro zero + CoT | 83,7% | 82,4% |
| HellaSwag | 10 tiros ** | 95,3% | 87,8% |
Surpreendentemente, esses resultados indicam que ainda não exploramos todo o potencial dos modelos lançados anteriormente, como o GPT-4.
Em contrapartida, o Google Gemini Ultra, anunciado como o modelo mais poderoso da empresa até o momento, enfrenta um desafio formidável.
À medida que as técnicas de prompt evoluem e as empresas buscam aprimorar seus modelos, podemos esperar avanços significativos no campo da inteligência artificial.
