Résumés de textes abstraits

Modèles:

• Transformateur - Modèle encodeur-décodeur entraînement jusqu'à 200 époques sur le jeu de données "XSum". à partir de zéro. Notebook

• Fine-Tuning du modèle Facebook/Llama-2-7b avec la librairie Ludwig (Échec du déploiement en raison d'erreurs multiples dans les paquets entre Transformers et Ludwig). Notebook

• Fine-Tuning du modèle Google/mT5 model avec la librarie HuggingFace Notebook | HuggingFace

Training information:

Transformer-Encoder-Decoder:
• 61 671 569 paramètres
• Dataset: "Xsum" Anglais
• 200 epochs
• ~16 heures

Facebook/Llama-2-7b:
• 7 Milliards de paramètres
• Dataset: "Xsum" Anglais
• 5 epochs
• ~20 heures

Google/mT5-small:
• ~300 Million paramètres
• Dataset: "Xsum" Anglais & "MLsum" Français
• 10 epochs
• ~22 heures

• Utilisation d'un service cloud: https://vast.ai (NVIDIA GPU - 4090 RTX)

Summary: " machine learning is a branch of artificial intelligence that focuses on the development of computer programs that can access data and use it to learn for themselves. ... "

Génération de texte

• Entraînement du modèle transformateur-décodeur jusqu'à 255k époques sur un corpus français (10 GB)

• Optimisation des hyper-parameters, nettoyage du corpus...

• Utilisation d'un service cloud: https://vast.ai (NVIDIA GPU)

• Mise en œuvre de plusieurs modèles : tokenizer par caractère (10M paramètres) et tiktoken (50M et 119M paramètres)

Text généré: " Sous un soleil, les magasins de fer français débordent d'une multitude de fleurs mais sans encombre, "la France nourrit une résistance passive à plusieurs tirs d'explosifs". ... "

Application web de chatbot éducatif

• Développement d'une application web de chatbot éducatif (Angular Ng).

• Génération de QCM à partir de n'importe quel sujet sur Wikipedia (Wikidata).

• "La modélisation thématique permet de mettre en évidence les sujets les plus pertinents d'un texte.

• Résumés extractifs et abstraits de textes.

• Utilisation de spaCy, Transformer-HuggingFace et Bert modèle.

• Déploiement sur Heroku, puis GCP. Utilisation de Kubernetes, Docker.

• Prototypage de pipeline ML avec Kubeflow.

CNN - reconnaissance des veines palmaires

• Développement d'un réseau de neurones CNN (ResNet, Xception...) pour reconnaître l'identité de l'utilisateur à travers les veines de la paume de la main.

• Déploiement du modèle avec Flask, Docker et Keras.

Specialization Machine Learning Engineering for Production (MLOps)

Ce que j'ai appris:

• Concevoir un système de production de ML de bout en bout : cadrage du projet, besoins en données, stratégies de modélisation et exigences de déploiement. stratégies de modélisation et exigences de déploiement
• Établir un modèle de base, traiter les dérives conceptuelles et prototyper comment développer, déployer et améliorer en permanence une application ML mise en production, et améliorer continuellement une application ML en production
• Construire des pipelines de données en rassemblant, en nettoyant et en validant les ensembles de données.
• Mettre en œuvre l'ingénierie, la transformation et la sélection des caractéristiques avec TensorFlow Extended
• Établir le cycle de vie des données en exploitant les outils de métadonnées de lignage et de provenance des données et suivre l'évolution des données avec les schémas de données de l'entreprise
• Appliquer des techniques pour gérer les ressources de modélisation et répondre au mieux aux demandes d'inférence hors ligne/en ligne.
• Utiliser l'analyse pour résoudre les problèmes d'équité et d'explicabilité des modèles et atténuer les goulets d'étranglement.
• Fournir des pipelines de déploiement pour la mise à disposition de modèles nécessitant des infrastructures différentes
• Appliquer les meilleures pratiques et les techniques de livraison progressive pour maintenir un système de production fonctionnant en continu.

The Docker platform and Introduction to Kubernetes

Specialization deep learning (5 modules) And Machine Learning Introduction

Ce que j'ai appris:
• Construire et entraîner des réseaux neuronaux profonds, identifier les paramètres clés de l'architecture, mettre en œuvre des réseaux neuronaux vectorisés et l'apprentissage profond dans les applications.
• Former des ensembles de tests, analyser la variance pour les applications DL, utiliser des techniques standard et des algorithmes d'optimisation, et construire des réseaux neuronaux dans TensorFlow.
• Construire un CNN et l'appliquer à des tâches de détection et de reconnaissance, utiliser le transfert de style neuronal pour générer de l'art, et appliquer des algorithmes à des données d'images et de vidéos.
• Construire et entraîner des RNN, travailler avec le NLP et les Word Embeddings, et utiliser les tokenizers et les modèles de transformation de HuggingFace pour effectuer du NER et de la réponse aux questions.

Engineering school - ESME - esme.fr

J'ai suivi un parcours éducatif de cinq ans, comprenant trois années d'ingénierie générale pour acquérir une base solide, suivies de deux années de spécialisation en intelligence artificielle où j'ai approfondi mes connaissances dans ce domaine en constante évolution. Mon parcours m'a permis de développer une expertise technique solide ainsi qu'une compréhension approfondie des concepts clés de l'intelligence artificielle.

Institute of technology Sligo (IRELAND)

Programmation Control and Instrumentation.

Lycée - BAC S - Maths specifications