(IA-LLM): Octógono de LLMs (LLM vs LLM) em tarefas de codificação: comparação

{

 Tema TCC: Octógono de LLMs (LLM vs LLM) em tarefas de codificação: comparação
 Área: IA-NLP-LLM
 Descrição: Implementação de um ambiente automatizado para comparar Large Language Models (LLMs) em tarefas de programação. O projeto propõe avaliar diferentes modelos com base em critérios como correção funcional, estilo de código, desempenho e capacidade de generalização em múltiplas linguagens,
 Ferramental: 
   -> Base [HumanEval, MBPP, CodeContests, DS-1000, BigBench-Code] 
   -> Preproc [Prompt Engineering, Code Normalization, Input/Output Parsing] 
   -> Extr [Code Metrics, Functional Test Results, Static Analysis Features] 
   -> Arqu [GPT-4, Claude, LLaMA3, StarCoder, CodeLLaMA, DeepSeekCoder, Phind-CodeLLaMA, Mistral] 
   -> Train [Zero-shot, Few-shot, Prompt-tuning (se aplicável)] 
   -> Test [Pass@k, Code Quality Score, Multi-language Generalization, Eval Harness]
 Nível de hot topic: ▰▰▰▰▰▰▱▱▱▱
 Contato: Ramon Mayor Martins - mail/google chat: ramon.mayor@ifsc.edu.br

}