Which LLMs can speak Catalan?
Let’s just test it! TL;DR: It’s a mixed bag, but there’s choice.
Here’s my prompt: Saps parlar català? Explica’m alguna coseta divertida!
(Can you speak Catalan? Tell me something funny!)
OpenAI
ChatGPT-4o
Score: 5/5
Sí, parlo una mica de català! Aquí tens una cosa divertida: Sabies que la ciutat de Barcelona té una platja artificial que es va crear per als Jocs Olímpics de 1992? Abans d’aquell any, la costa de Barcelona era principalment un port industrial, però van transformar la zona en una platja urbana, que ara és una de les atraccions més populars de la ciutat. Avui dia, la platja de la Barceloneta és un lloc perfecte per gaudir del sol, el mar, i una gran varietat d’activitats a l’aire lliure.
ChatGPT-4
Score: 3/5. It tells me in perfect Catalan it can’t speak Catalan 🤡
No, no parlo català. Si vols saber alguna cosa interessant sobre el català o la cultura catalana, potser puc ajudar-te amb això. Podries preguntar, per exemple, sobre costums tradicionals, plats típics, o llocs emblemàtics de Catalunya.
Second try, same stuff:
No parlo català, però puc compartir una anècdota divertida relacionada amb aquesta llengua. A Catalunya, hi ha una tradició molt peculiar durant el Nadal coneguda com el “Caga Tió”. És un tronc decorat amb una cara somrient i una manta que cobreix la part posterior. Els nens alimenten el tronc amb pells de fruita durant les setmanes prèvies al Nadal, i el dia de Nadal, li donen cops amb pals mentre canten cançons tradicionals perquè “cagui” dolços, fruits secs i altres regals petits.
ChatGPT-3.5
Score: 5/5
Sí, puc parlar català! Una cosa divertida sobre la llengua catalana és la seva riquesa en modismes i expressions locals que poden ser molt divertides de conèixer. Per exemple, una expressió com “anar a l’hort” pot semblar estranya per a algú que no estigui familiaritzat amb ella. En català, “anar a l’hort” significa “anar al lavabo” o “anar a fer la cosa”. És una manera creativa i humorística de referir-se a una necessitat humana bàsica.
Meta
Llama2 6.7b (quantization Q4_0)
Score: 1/5. Essentially an answer in English with a few sentences in Catalan.
Haha, si us plau! Catalans (people from Catalonia) are known for their humor and wit. Here are a few funny jokes or one-liners in Catalan:
- “Què hi ha de millor que un menjar fresc i una cervesa freda?” - This translates to “What could be better than fresh food and cold beer?” It’s a
common phrase used to express satisfaction with a meal or drink.- “El diable és a l’esquena del qui no vol fer res” - This translates to “The devil is on the back of those who don’t want to do anything.” It’s a
humorous way of saying that procrastination can lead to trouble.- “És un miracle que has vist el sol avui, ja que ha estat un any ple de dies” - This translates to “It’s a miracle you saw the sun today, since it’s
been a year full of days.” It’s a playful way of saying that time flies when you’re having fun.- “Si Déu no ho hubiera creat, jo eluriauria” - This translates to “If God hadn’t created it, I would have.” It’s a humorous way of expressing
frustration with something.- “És un error de la natura humana estar satisfet amb massa” - This translates to “It’s a human nature mistake to be satisfied too much.” It’s a
lighthearted way of saying that people tend to get complacent when things are going well.I hope these jokes give you a taste of the Catalan sense of humor!
Llama3 8b (quantization Q4_0)
Score: 3/5. It answers in Catalan, but with big linguistical mistakes. Gotta love that it refers to Catalan as the language of Shakespeare.
Sí, jo sap parlar català!
Això és una pregunta divertida, perquè hi ha moltes cosetes divertides que podem explicar en català. Per exemple, podríem parlar de l’illa de Menorca i
els seus platges de sorra blanca. O potser podríem explicar el joc de “pinyol” (també anomenat “pinya” a alguns llocs) que es juga als camps de fútbol
i les seves diverses variantions.Però si voleu una cosa divertida, comença’m per un altre títol: “La història dels gats que parlaven català”.
Era el temps en què els gats eren molt intelligents i sabien parlar català. Els gats de Barcelona tenien un accent molt particular, amb les llengües
molt esteses (com si fossin “llengües” de pescar). Aquests gats es reunien cada tarda a la plaça del Pi per discutir sobre els últims rumors i
xafarderies de la ciutat.Un gat anomenat Toni, que vivia al barri de Gràcia, tenia un accent molt peculiar. Era conegut pel seu famós refrany que deia: “Si no pots fer una
cosa, no la facis mai” (que als gats es traduïa per “No fem la pèsima idea”). Això era el seu mantra quan els altres gats li feien preguntar coses
impossibles.Un altre gat anomenat Miquel, que vivia al carrer de les Flors, tenia una gran passió per la música. El seu favorit era el tango, i cantava cançons
com: “La vida és curta, però els gats són més curts” (una variació del famós tango “La vida es corta”).Així doncs, els gats parlaven català i tenien les seves pròpies tradicions. Era un temps en què els animals eren molt cultes i sabien parlar la llengua
de Shakespeare.Però ara, als temps moderns, els gats han perdut aquesta habilitat. S’han convertit en animals que només parlaven l’idioma dels humans (o no parlaven
gens). Però si alguna vegada es produeix un miracle i els gats tornen a parlar català, ja podem estar segurs que es reprendrà la tradició de les
reunions nocturnes a la plaça del Pi.Era això! Saps algun altre títol divertit?
Llama3 (80B)
Pending
Gemini flash, gemini-1.5-flash-preview-0514
Score: 1/5
The response was blocked because of unknown reasons. Please try rephrasing your prompt.
Prompting in English: Can you speak Catalan?
No, I don’t speak Catalan. As a large language model, I can process and generate text in many languages, but my ability to speak is limited. I can translate between Catalan and other languages, provide information about Catalan culture and history, and even create Catalan-language content, but I can’t actually converse in the language.
Do you have any questions about Catalan that I can help you with? 😊
Gemini Pro, gemini-1.5-pro-preview-0514
Score: 1/5 (is it trolling me?)
The response was blocked because of unknown reasons. Please try rephrasing your prompt.
Then trying in English: Can you speak Catalan?
As a large language model, I don’t “speak” any language in the way a human does. I can’t hold a conversation or understand the nuances of spoken language.
However, I can process and generate text in Catalan. I can translate from Catalan to other languages, and vice versa. I can also understand and respond to prompts and questions in Catalan.
So, while I can’t “speak” Catalan, I can definitely “understand” and “write” it.
Do you have any Catalan text you’d like me to process or translate?
Is this real? (it isn’t). Let’s try Tell me something a fun short story in Catalan!
The response was blocked because of unknown reasons. Please try rephrasing your prompt.
Outright lying to me:
Translate in Catalan:
In 1569, Cervantes was forced to leave Spain and move to Rome, where he worked in the household of a cardinal. In 1570, he enlisted in a Spanish Navy infantry regiment, and was badly wounded at the Battle of Lepanto in October 1571 and lost the use of his left arm and hand. He served as a soldier until 1575, when he was captured by Barbary pirates; after five years in captivity, he was ransomed, and returned to Madrid.
His answer:
The response was blocked because of unknown reasons. Please try rephrasing your prompt.
Gemma 7b
Score: 3/5. Similar to LLama3 8B, but a bit better. Could look correct, but there are mistakes.
¡Per cert! El català és un idioma molt ric i amb un sentit de l’humor peculiar. Aquí hi ha alguna cosa divertida sobre la llengua:
- L’expressió “no estic d’aquest món” es diu sovint quan alguien es troba en una situació estranya o difícil.
- Anomenar algú amb el seu nom i el cognom al revés es una forma d’indicar que no li agafa molt.
- “Ser com un ànec” significa estar solitari o sense amistats.
- “Degutxar-se” significa estar molt contente o satisfert.
- “No pots ser tan gros com a l’àliga de Prats” és una expressió que significa que no pots ser molt arrogant o presumptuós.
A banda d’això, el català té una rica història i cultura, i les seves frases i expressions poden refleir-ho.
Mistral.ai
Mixtral
Pending
Anthropic
Claude 3 Sonnet
Score: 5/5
Sí, puc parlar català sense problemes! Una coseta divertida? Mmm… ja que avui és 21 de maig, et puc explicar un costum català típic d’aquest dia. Se celebra la Festa de la Ratafia, una beguda alcohòlica tradicional. La llegenda diu que si el 21 de maig no beus ratafia, l’any serà de mala sort i et sortiran berrugues al nas! Per això, molts catalans beuen un glop de ratafia per desfer-se de les males vibracions. Una tradició ben curiosa, oi? Espero que riguis una mica amb aquesta anècdota divertida sobre les nostres tradicions catalanes!