Text Generation
More information about:
In this project, a text generation model using a Transformer-decoder architecture (~119M param) was trained from scratch on a sizable French corpus of 10GB, primarily sourced from AFP (Agence France-Presse). The goal was to achieve high-quality text generation, and a key strategy was to mimic the distinctive sentence starters often found in AFP-style writing to produce coherent and news-like outputs. This approach leverages the rich linguistic patterns observed in AFP content to generate contextually appropriate and informative text.
Technical information:
• Transformer-Decoder model ~ 119 Million parameters
• Framework: PyTorch
• Machine: GPU - NVIDIA RTX 4090
• Epochs: ~255k
• Dataset: ~ French 10Go (75% AFP | 15% Books | 10% Wikipedia)
PS: If the beginning of the sentence is an AFP headline, the model will provide more convincing responses.
Example of Text Generated:
La pièce de théatre mettait en avant cette belle femme étendue dans l’obscurité, ceux d’une femme assurée d’être choisie en pourcentage. « RÉD. — En supposant que Jugement était mort ! Qu’en sais-tu ? N’est-ce pas avec toi ? Je te tiens enfermé sous les gardes ? — Oui, je crois, lui ma tante ; je le garderai comme vous pouvez. "