Você pode abrir um arquivo CSV codificado com UTF-8 normalmente se ele foi salvo com BOM (Marca de Ordem de Byte). Caso contrário, você poderá abri-lo por qualquer uma das seguintes maneiras.
Por meio do PQ (Power Query) usando o menu suspenso Obter Dados. Navegue até a guia > Dados Obter Dados > do arquivo > Obter Dados do Texto/CSV.
Use a opção "Obter dados do texto". Essa opção está disponível em "Diga-me" e na faixa de opções.
Ele abre o Assistente de Importação de Texto e não cria links externos para a pasta de trabalho.