RAG - GPT-4とMistralを使用した検索強化生成

• コンテキスト: 建設資材業界の小規模企業向けのソフトウェア開発プロジェクトを主導し、サプライヤーのPDFから製品データを抽出して包括的なExcelデータセットを生成する任務を遂行しました。

• 技術的専門知識: 検索強化生成（RAG）の使用により、ChatGPTやMistralなどの高度なLLMモデルを使用して、さまざまなPDF形式から複雑なデータを抽出し、正確に構造化されたExcelシートに変換しました。

使用したモデル:

• GPT-4 | 3.5-turbo - 料金 - OpenAI

• Mistral - 料金

• ソフトウェアソリューション: "PDFToExcel"の開発、データの変換とデータセットの作成プロセスを合理化するためのオーダーメイドアプリケーションを設計し、企業のウェブサイトの改善に貢献しました。

• アジャイル手法: アジャイルプラクティスを使用してManuquipチームと緊密に協力し、迅速な開発サイクル、継続的なフィードバック、進化するプロジェクト要件に効果的に対応するための反復的改善を促進しました。

• 結果: データ抽出と処理の効率を大幅に向上させ、企業の業務効率と顧客サービスを強化する高品質でユーザーフレンドリーなソフトウェアソリューションを成功裏に提供しました。

抽象的テキスト要約

使用したモデル:

• Transformer - Encoder-Decoderモデルを"XSum"データセットでスクラッチから最大200エポックまでトレーニング。ノートブック

• Facebook/Llama-2-7bモデルのファインチューニングをLudwigパッケージで実施（TransformersとLudwigの間の複数のエラーによりデプロイ失敗）。ノートブック

• Google/mT5モデルのファインチューニングをHuggingFaceパッケージで実施ノートブック | HuggingFace

トレーニング情報:

Transformer-Encoder-Decoder:
• 61,671,569 パラメータ
• データセット: "Xsum" 英語
• 200エポック
• 約16時間

Facebook/Llama-2-7b:
• 70億パラメータ
• データセット: "Xsum" 英語
• 5エポック
• 約20時間

Google/mT5-small:
• 約3億パラメータ
• データセット: "Xsum" 英語 & "MLsum" フランス語
• 10エポック
• 約22時間

• クラウドサービスの使用: https://vast.ai (NVIDIA GPU - 4090 RTX)

要約: "機械学習は、データにアクセスしてそれを使用して自ら学習することができるコンピュータプログラムの開発に焦点を当てた人工知能の一分野です。 ..."

テキスト生成

• フランス語コーパス（10 GB）で最大255kエポックまでトレーニングしたTransformer-デコーダーモデル。Notebook

• ハイパーパラメータの最適化、コーパスのクリーニング...

• クラウドサービスの使用: https://vast.ai (NVIDIA GPU)

• いくつかのモデルの実装: 文字単位のトークナイザー（10Mパラメータ）およびtiktoken（50Mおよび119Mパラメータ）

Text generated: " Sous un soleil, les magasins de fer français débordent d'une multitude de fleurs mais sans encombre, "la France nourrit une résistance passive à plusieurs tirs d'explosifs". ... "

教育用チャットボットWebアプリケーション

• 教育用チャットボットWebアプリケーションの開発（Angular Ng）。

• Wikipedia（Wikidata）の任意のトピックからのMCQの生成。

• トピックモデリングを使用して、テキスト内で最も関連性の高いトピックを強調。

• 抽出的および抽象的なテキスト要約。

• spaCy、Transformer-HuggingFace、Bertモデルライブラリの使用。

• Heroku、次にGCPへのデプロイ。Kubernetes、Dockerの使用。

• Kubeflowを使用したMLパイプラインのプロトタイピング。

CNN - 掌静脈認証

• 掌静脈を通じてユーザーの身元を認識するためのCNNニューラルネットワーク（ResNet、Xceptionなど）の開発。

• Flask、Docker、Kerasを使用したモデルのデプロイ。

Specialization Machine Learning Engineering for Production (MLOps)

学んだこと:

• プロジェクトのスコーピング、データのニーズ、モデリング戦略、デプロイメント要件など、エンドツーエンドのMLプロダクションシステムの設計
• モデルのベースラインを確立し、コンセプトドリフトに対処し、プロダクション化されたMLアプリケーションを開発、デプロイ、および継続的に改善する方法をプロトタイプ化
• データセットの収集、クリーニング、および検証によるデータパイプラインの構築
• TensorFlow Extendedを使用した特徴エンジニアリング、変換、および選択の実装
• データ系譜および出所メタデータツールを活用してデータライフサイクルを確立し、エンタープライズデータスキーマを使用してデータの進化を追跡
• モデリングリソースを管理し、オフライン/オンライン推論リクエストに最適に対応するための技術の適用
• モデルの公平性、説明可能性の問題に対処し、ボトルネックを緩和するための分析の使用
• 異なるインフラストラクチャを必要とするモデルサービングのためのデプロイメントパイプラインの提供
• 継続的に稼働するプロダクションシステムを維持するためのベストプラクティスおよびプログレッシブデリバリーテクニックの適用

The Docker platform and Introduction to Kubernetes

Specialization deep learning (5 modules) And Machine Learning Introduction

学んだこと:
• ディープニューラルネットワークの構築とトレーニング、主要なアーキテクチャパラメータの特定、ベクトル化ニューラルネットワークの実装およびアプリケーションへのディープラーニングの適用
• トレインテストセットの作成、DLアプリケーションの分散分析、標準的な手法と最適化アルゴリズムの使用、およびTensorFlowでのニューラルネットワークの構築
• CNNの構築と検出および認識タスクへの適用、ニューラルスタイル転送を使用したアートの生成、および画像およびビデオデータへのアルゴリズムの適用
• RNNの構築とトレーニング、NLPおよび単語埋め込みの使用、HuggingFaceトークナイザーとトランスフォーマーモデルを使用してNERおよび質問応答を実行

Engineering school - ESME - esme.fr

私は、3年間の一般工学教育でしっかりとした基礎を身につけ、その後、人工知能の専門分野で2年間の専門教育を受けました。この進化し続ける分野での知識を深めました。私のバックグラウンドは、堅実な技術専門知識と人工知能の主要概念の深い理解を発展させることを可能にしました。

Institute of technology Sligo (IRELAND)

Programmation Control and Instrumentation.

Highschool - BAC S - Maths specifications