Um sobre Zero #56
Porquê chatbots de pesquisa?
Bem vindos a mais uma edição da newsletter Um sobre Zero.
Um apontamento de humor
Eu adoro CSS
Motores de pesquisa & IA
Nas últimas semanas, a temática mais falada tem sido naturalmente a adopção de LLMs (Large Language Models) em motores de pesquisa, em particular nos dois maiores anúncios do Bing (da Microsoft) e do Bard (da Google). O enorme entusiasmo com estas inovações só encontrou paralelo com a enorme desilusão de alguns dos resultados.
Não só a demo do Bard revelou respostas falsas, como o chatbot do Bing (que ainda não está aberto ao público em geral) tem mostrado comportamentos algo estranhos, como declarar o seu amor por um jornalista e tentar acabar com o seu casamento. Mas a verdade é que, só mesmo quem não sabe como estes modelos funcionam é que pode ficar surpreendido com estes comportamentos.
Como funcionam estes modelos
Acho que seria cansativo estar a colocar aqui uma explicação exaustiva de como estes modelos funcionam, por isso, se tiverem em interesse em perceber os detalhes podem ler esta explicação bem completa (e bastante técnica). Ou então podem simplesmente perguntar ao ChatGPT como ele próprio funciona, pedindo para ele explicar como se estivesse a falar com um miúdo de 10 anos e pode ser que a resposta que o ChatGPT devolva, seja algo sucinto mas esclarecedor.
A base do problema que foi (é, e vai continuar a ser) evidenciado pelos resultados destes chatbots é que os modelos que os suportam não representam uma verdadeira inteligência. São “apenas” modelos estatísticos (absurdamente gigantes) com alguns “pózinhos” extra (que incluem processamento de língua natural e processos anti-enviesamento) que são capazes de calcular qual a palavra com a maior probabilidade de ocorrer a seguir a outra palavra. E estes modelos são gerados por um processo de treino que inclui milhares de milhões de textos de uma boa parte da internet. Logo, o output destes modelos está intimamente ligado à qualidade dos inputs que recebeu durante esse treino.
E uma vez que estes modelos não “percebem” o que efetivamente estão a produzir - são uma espécie de papagaio digital - é natural que os resultados possam não ser os melhores ou mesmo os desejados, uma vez que tendem a gerar texto que não corresponde factualmente à realidade. O problema é o facto de o fazerem de uma forma totalmente confiante e sintaticamente correta. E como nós humanos tendemos a personificar a tecnologia, principalmente uma tão fascinante como esta, acabamos por lhes atribuir traços de humanidade que na verdade não estão lá. Mas isso é conversa para outra edição da newsletter.
Porquê pesquisa?
Ninguém pode negar que estes LLMs são muito poderosos a produzir respostas. Eu pelo menos, tenho feito bastante uso do ChatGPT para testar as águas de onde este pode ser útil.
Ora, a real utilidade de um motor de pesquisa assenta em dois princípios: que me ajude a encontrar o que eu preciso (como agulha num palheiro) e que o que encontra corresponde a informação fidedigna (a resposta certa à minha pergunta).
Mas, sabendo como estes modelos funcionam, e sabendo as suas limitações (em particular, este fenómeno de “alucinação” que os faz produzir texto factualmente incorreto), a pergunta natural que surge é: porquê apostar então em chatbots de pesquisa?
Eu sou da opinião de que a aposta na pesquisa como o primeiro principal produto a apostar por parte da Microsoft e Google, não advém de uma vontade de serem inovadores. Eu acho que a pesquisa é um alvo fácil porque efetivamente todos nós secretamente sabemos que a pesquisa hoje em dia oferece uma experiência abominável.
Seja porque queremos obter informações sobre voos para um determinado destino, seja porque queremos obter mais informação sobre uma temática mais atual na sociedade, ou seja simplesmente porque queremos saber como determinada função mais avançada funciona no Excel, a verdade é que o resultado de uma pesquisa no Google está poluída de anúncios e manipuladores de rankings de pesquisa. E quando passamos essa primeira camada de obstáculos e conseguimos encontrar um resultado que aparenta ser o que queremos, ao clicar no mesmo, somos depois transportados para uma experiência horrível de pop-ups (de cookies e subscrição de newsletters), anúncios e textos cuidadosamente esculpidos para serem bons para motores de pesquisa mas péssimos para humanos que só querem obter uma informação rápida.
Não admira, portanto, que haja uma vontade enorme de repensar toda a experiência de pesquisa. Porque o que imagino que toda a gente quer é um assistente virtual que seja capaz de perceber a pergunta, faça o trabalho de ir processar os resultados da pesquisa e depois apresente a resposta certa de forma compreensível e no contexto adequado.
Então qual é o produto?
Se a pesquisa não é o produto adequado para um modelo de linguagem, então como podemos aproveitar esta inovação tecnológica? Vejamos primeiro em que é que um LLM é realmente bom:
É capaz de gerar texto com gramática e sintaxe correta, com um feeling humano;
É capaz de perceber padrões de linguagem (relações entre palavras e sinónimos) e estruturar conversação;
É capaz de manter o contexto de uma conversa e usar isso para adaptar a sua resposta.
Isto leva-me a crer que o produto ideal para um LLM é um Assistente que apoia num processo de brainstorm, como por exemplo:
Apoio em tarefas de geração de texto (copy) ou análise (sentimento, sumarização);
Apoio em tarefas rotineiras de programação (geração de código atómico e com requisitos bem definidos);
Explorar novos insights sobre determinados inputs (enriquecimento de texto, formalizar texto);
Geração de texto para entretenimento (filmes, séries), livros, arte.
Mas esperem, isto não é o ChatGPT?
É, e é nessa perspetiva que o devemos usar. E não devemos usar o chatGPT para aquilo em que o seu modelo não é adequado de usar, como obtenção de respostas factualmente correctas.
Então mas estamos condenados a continuar com esta pesquisa medíocre para todo o sempre?
Claro que não. Muita investigação ainda vai ser feita, vão aliar-se outras tecnologias a estes LLMs e vai ser possível ultrapassar este “pequeno problema” de não se conseguir garantir a factualidade das respostas. Neste momento estamos no hype de uma nova tecnologia (o chatGPT só está disponível ao público em geral há 4 meses). Isto é o equivalente a uma versão 0.1b de um qualquer software. Imaginem quando estivermos numa versão 3.0.
Posto isto, que outros produtos ou áreas irão beneficiar desta nova tecnologia e potencialmente evoluir exponencialmente no futuro próximo?
Uma das áreas onde isto vai ser potencialmente revolucionário é a área de suporte: call centers. Pelo menos ao nível de primeira linha e na classificação do problema, o que permite redirecionar posteriormente o cliente para o suporte mais adequado (seja na procura da resposta mais adequada, seja em enviar o contexto certo ao humano que vai dar o suporte real).
Seja como for, a realidade é que estamos claramente numa nova fase da tecnologia. Tal como o Netscape revolucionou os browsers, tal como o Napster revolucionou o mundo da música, tal como o Google revolucionou a pesquisa na internet, também os LLMs vão revolucionar os próximos anos.
Até agora vivemos na era pré-GPT. Bem vindos à era pós-GPT. Vai ser interessante!
Notícias Várias
Gravidade como produção de energia
Eu gosto destes conceitos mirabolantes que, de tão fora da caixa, acabam por se tornar em ideias que poderão ter um impacto real. As baterias por gravidade são um candidato potencial para armazenar o excesso de energia renovável. A ideia é pegar no excesso de energia renovável (produzido em picos de sol e vento durante o dia em que o mesmo não é aproveitado) para fazer subir enormes quantidades de areia em poços de minas abandonadas. Depois, mais tarde, quando for necessário produzir energia - porque estamos num pico de consumo e as renováveis não conseguem produzir o suficiente - pega-se nessa areia e aproveita-se a produção de energia cinética quando se envia a areia para o fundo da mina abandonada. Os investigadores consideram que, após um custo de investimento de cerca de $1-10 por kilowatt-hora, este método poderia ter um potencial global de 7-70 terawatt-hora.
Usar Inteligência Artificial para gerar novos cheiros
Há cheiros e aromas que são muito difíceis de produzir, mas que por uma razão ou outra, são muito procurados, seja na produção de perfumes, seja na confeção de produtos alimentares. Uma nova spinoff da Google, de nome Osmo, pretende procurar moléculas substitutas que possam ser produzidas sinteticamente e que sejam interpretadas pelos cerca de 400 tipos de receptores que o nosso sistema olfativo tem, da mesma maneira que seriam interpretados os tais aromas especiais. Isto tem o potencial de revolucionar completamente a indústria de perfumes e e da culinária.
O caminho para o verdadeiro ciborgue
Isto parece o tipo de coisa saído de um filme de ficção científica. Confesso que ainda não percebi muito bem como isto é possível - suponho que isso advém do meu grande desconhecimento sobre as características da eletrónica de circuitos - mas investigadores nas Universidades de Linköping, Lund e Gotemburgo na Suécia cultivaram com sucesso eléctrodos em tecidos vivos utilizando as moléculas do corpo como “estímulos”. Neste estudo, que foi publicado na revista Science, o resultado abre caminho à formação de circuitos electrónicos totalmente integrados em organismos vivos. Suponho que com isto, a ideia dos ciborgues não estará assim tão longe. A minha cabeça fica a doer quando penso no potencial de todos os cenários que vêm a seguir a isso: os bons e os maus.
Recomendações de leituras
CNET - Green Tech to Watch in 2023
Um resumo interessante do potencial impacto que as tecnologias renováveis poderão evidenciar ainda este ano. Aborda as temáticas da energia solar (com o potencial dos painéis solares transparentes e o seu uso em casas e veículos), os avanços na fusão nuclear e o o uso das ondas do oceano.
Big Technology - A Writer Used AI To Plagiarize Me. Now What?
O problema do plágio não é novo, é na verdade algo que existe provavelmente desde que foi inventada a escrita. A questão é a facilidade com que agora se consegue plagiar usando os LLMs para gerar rapidamente novo conteúdo, suficientemente diferente do original, que não permita evidenciar imediatamente que é plágio. E é essa experiência que é aqui relatada pelo autor da newsletter Big Technology. A questão é que não há uma solução tecnológica rápida para estas questões. Como em todas as outras áreas em que os LLMs vieram causar um impacto tão súbito e evidente, esta é mais uma em que a sociedade terá de se adaptar a uma nova realidade que exigirá soluções que ainda não sabemos quais terão de ser.
Recomendações de podcasts
Podcast Cruzamento - Inteligência Artificial e Robôs na Saúde
O André Correia e o Daniel Guedelha amavelmente convidaram a mim e ao Bruno Amaral para falarmos sobre o nosso projeto Gregory-MS, um pequeno bot que criámos para ajudar a malta que trabalha na área da Esclerose Múltipla, a acompanhar a investigação mais recente e relevante sem terem o trabalho de ler todos os papers e clinical trials que vão surgindo na área.
Esta recomendação não vem no sentido da vaidade de promover um episódio onde eu participei mas no simples facto de achar que é muito importante promover o projeto Gregory-MS para tentar encontrar uma solução para uma doença que é tão devastadora para quem dela padece.
Peço a vossa ajuda para fazer chegar este projeto ao máximo de gente que for possível, porque tem igualmente o potencial para ser usado noutras doenças e ajudar muito mais pessoas. Mas precisamos de apoio para isso. Se puderem ajudar, nem que seja com a divulgação, já era muito bom.
Nota final
Querem ver cenas interessantes ou estranhas (ou as duas ao mesmo tempo) no street view do Google maps? I got you!
Até à próxima!
António Lopes
Concordo com a tua opinião sobre estes modelos de linguagem. Daí estar a desenvolver um produto que tem como objetivo isso mesmo: ajudar. http://copyloto.pt/