无监督神经机器翻译——UnsupervisedMT

本实例是基于Facebook开源的UMT模型编写的无监督神经网络翻译，可以用于不同语言的实时互译，本实例提供了英法数据集。对于中英的实时互译，这里暂不提供，需要用户自己建立相应的中文数据集。

# Copyright （c） 2019-present Facebook Inc.
# All rights reserved.
#
# This source code is licensed under the license found in the
# LICENSE file in the root directory of this source tree.
#

import os
import argparse

from src.utils import bool_flag initialize_exp
from src.evaluation.glue import GLUE
from src.evaluation.xnli import XNLI
from src.model.embedder import Sentenceembedder


GLUE_TASKS = [‘MNLI-m‘ ‘MNLI-mm‘ ‘QQP‘ ‘QNLI‘ ‘SST-2‘ ‘CoLA‘ ‘MRPC‘ ‘RTE‘ ‘STS-B‘ ‘WNLI‘ ‘AX_MNLI-m‘]
XNLI_TASKS = [‘XNLI‘]
TASKS = GLUE_TASKS + XNLI_TASKS


# parse parameters
parser = argparse.ArgumentParser（description=‘Train on GLUE or XNLI‘）

# main parameters
parser.add_argument（“--exp_name“ type=str default=““
                    help=“Experiment name“）
parser.add_argument（“--dump_path“ type=str default=““
                    help=“Experiment dump path“）
parser.add_argument（“--exp_id“ type=str default=““
                    help=“Experiment ID“）

# evaluation task / pretraine

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件    1076777  2020-07-07 18:50  XLM\codes_enfr

    .......      9613  2019-12-12 13:21  XLM\generate-embeddings.ipynb

     文件       6143  2019-12-12 13:21  XLM\get-data-glue.sh

     文件      15089  2020-07-08 19:21  XLM\get-data-nmt.sh

     文件       7091  2019-12-12 13:21  XLM\get-data-para.sh

     文件       2122  2019-12-12 13:21  XLM\get-data-wiki.sh

     文件       2807  2019-12-12 13:21  XLM\get-data-xnli.sh

     文件       4531  2019-12-12 13:21  XLM\glue-xnli.py

     文件       1822  2019-12-12 13:21  XLM\install-tools.sh

    .......     13810  2019-12-12 13:21  XLM\PKM-layer.ipynb

     文件       1758  2019-12-12 13:21  XLM\prepare-glue.sh

     文件       2659  2019-12-12 13:21  XLM\prepare-xnli.sh

     文件       1459  2019-12-12 13:21  XLM\preprocess.py

     文件      14631  2019-12-12 13:21  XLM\src\data\dataset.py

     文件       7763  2019-12-12 13:21  XLM\src\data\dictionary.py

     文件      14542  2019-12-12 13:21  XLM\src\data\loader.py

     文件          0  2019-12-12 13:21  XLM\src\data\__init__.py

     文件      22275  2019-12-12 13:21  XLM\src\evaluation\evaluator.py

    .......     11415  2019-12-12 13:21  XLM\src\evaluation\glue.py

     文件       5233  2019-12-12 13:21  XLM\src\evaluation\multi-bleu.perl

    .......      8561  2019-12-12 13:21  XLM\src\evaluation\xnli.py

    .......         0  2019-12-12 13:21  XLM\src\evaluation\__init__.py

     文件       1873  2019-12-12 13:21  XLM\src\logger.py

    .......      4816  2019-12-12 13:21  XLM\src\model\embedder.py

    .......     33186  2019-12-12 13:21  XLM\src\model\memory\memory.py

    .......      9282  2019-12-12 13:21  XLM\src\model\memory\query.py

    .......      5082  2019-12-12 13:21  XLM\src\model\memory\utils.py

    .......        34  2019-12-12 13:21  XLM\src\model\memory\__init__.py

    .......      2987  2019-12-12 13:21  XLM\src\model\pretrain.py

     文件      29605  2019-12-12 13:21  XLM\src\model\transformer.py

............此处省略23个文件信息