Adem diep in en probeer het stap voor stap op te lossen. Je zou het misschien tegen een leerling of tegen je zoon of dochter kunnen zeggen. Maar… misschien zeg je het best ook tegen de AI-tool die je gebruikt, want volgens deze nieuwe studie van Yang et al die je hier kan vinden Ze zochten naar opdrachten of prompts die de correctheid van de resultaten van verschillende taalmodellen hielp verbeteren. En deze steeds meer populaire tools, lijken dus een beetje op kinderen:

Het is nog maar de vraag of dit een tijdelijk fenomeen is, of dit bij alle thema’s zo is, enz. Zoals vaak is meer onderzoek nodig.

Abstract van het onderzoek:

Optimization is ubiquitous. While derivative-based algorithms have been powerful tools for various problems, the absence of gradient imposes challenges on many real-world applications. In this work, we propose Optimization by PROmpting (OPRO), a simple and effective approach to leverage large language models (LLMs) as optimizers, where the optimization task is described in natural language. In each optimization step, the LLM generates new solutions from the prompt that contains previously generated solutions with their values, then the new solutions are evaluated and added to the prompt for the next optimization step. We first showcase OPRO on linear regression and traveling salesman problems, then move on to prompt optimization where the goal is to find instructions that maximize the task accuracy. With a variety of LLMs, we demonstrate that the best prompts optimized by OPRO outperform human-designed prompts by up to 8% on GSM8K, and by up to 50% on Big-Bench Hard tasks.