ENAS PyTorch高效神经网络结构搜索 项目

该项目是对论文《参数共享的高效神经网络结构搜索（Efficient Neural Architecture Search (ENAS) via Parameters Sharing）》的实现。ENAS 做什么？高效神经网络结构搜索，即 ENAS 减少了计算需求，将 NAS 的 GPU 计算时间减少了 1000 倍。他们通过共享大型计算图中的子图模型之间的参数共享来完成此操作。 如何使用它的过程已经在 GitHub 页面上得到了很好的展示。实现这个库的先决条件是： Python 3.6+ 需要 PyTorch tqdm，imageio，graphviz，tqdm，tensorboardX

import argparse
from utils import get_logger

logger = get_logger（）


arg_lists = []
parser = argparse.ArgumentParser（）

def str2bool（v）:
    return v.lower（） in （‘true‘）

def add_argument_group（name）:
    arg = parser.add_argument_group（name）
    arg_lists.append（arg）
    return arg

# Network
net_arg = add_argument_group（‘Network‘）
net_arg.add_argument（‘--network_type‘ type=str choices=[‘rnn‘ ‘cnn‘] default=‘rnn‘）

# Controller
net_arg.add_argument（‘--num_blocks‘ type=int default=12）
net_arg.add_argument（‘--tie_weights‘ type=str2bool default=True）
net_arg.add_argument（‘--controller_hid‘ type=int default=100）

# Shared parameters for PTB
# NOTE（brendan）: See Merity config for wdrop
# https://github.com/salesforce/awd-lstm-lm.
net_arg.add_argument（‘--shared_wdrop‘ type=float default=0.5）
net_arg.add_argument（‘--shared_dropout‘ type=float default=0.4） # TODO
net_arg.add_argument（‘--shared_dropoute‘ type=float default=0.1） # TODO
net_arg.add_argument（‘--shared_dropouti‘ type=float default=0.65） # TODO
net_arg.add_argument（‘--shared_embed‘ type=int default=1000） # TODO: 200 500 1000
net_arg.add_argument（‘--shared_hid‘ type=int default=1000）
net_arg.add_argument（‘--shared_rnn_max_length‘ type=int default=35）
net_arg.add_argument（‘--shared_rnn_activations‘ type=eval
                     default=“[‘tanh‘ ‘ReLU‘ ‘identity‘ ‘sigmoid‘]“）
net_arg.add_argument（‘--shared_cnn_types‘ type=eval
                     default=“[‘3x3‘ ‘5x5‘ ‘sep 3x3‘ ‘sep 5x5‘ ‘max 3x3‘ ‘max 5x5‘]“）

# PTB regularizations
net_arg.add_argument（‘--activation_regularization‘
                     type=str2bool
                     default=False）
net_arg.add_argument（‘--activation_regularization_amount‘
                     type=float
                     default=2.0）
net_arg.add_argument（‘--temporal_activation_regularization‘
                     type=str2bool
                     default=False）
net_arg.add_argument（‘--temporal_activation_regularization_amount‘
                     type=float
                     default=1.0）
net_arg.add_argument（‘--norm_stabilizer_regularization‘
                     type=str2bool
                     default=False）
net_arg.add_argument（‘--norm_stabilizer_regularization_amount‘
                     type=float
                     default=1.0）
net_arg.add_argument（‘--norm_stabilizer_fixed_point‘ type=float default=5.0）

# Shared parameters for CIFAR
net_arg.add_argument（‘--cnn_hid‘ type=int default=64）


# Data
data_arg = add_argument_group（‘Data‘）
data_arg.add_argument（‘--dataset‘ type=str default=‘ptb‘）


# Training / test parameters
learn_arg = add_argument_group（‘Learning‘）
learn_arg.add_argument（‘--mode‘ type=str default=‘train‘
                       choices=[‘train‘ ‘derive‘ ‘test‘]
                       help=‘train: Training ENAS derive: Deriving Architectures‘）
learn_arg.add_argument（‘--batch_size‘ type=int default=64）
learn_arg.add_argument（‘--test_batch_size‘ type=int defaul

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-04-03 15:40  ENAS-pytorch-master\
     文件        1463  2018-04-03 15:40  ENAS-pytorch-master\.gitignore
     文件       11357  2018-04-03 15:40  ENAS-pytorch-master\LICENSE
     文件        3664  2018-04-03 15:40  ENAS-pytorch-master\README.md
     目录           0  2018-04-03 15:40  ENAS-pytorch-master\assets\
     文件      194479  2018-04-03 15:40  ENAS-pytorch-master\assets\ENAS_cnn.png
     文件      193085  2018-04-03 15:40  ENAS-pytorch-master\assets\ENAS_rnn.png
     文件      311636  2018-04-03 15:40  ENAS-pytorch-master\assets\arial.ttf
     文件       45021  2018-04-03 15:40  ENAS-pytorch-master\assets\best_rnn_epoch27.png
     文件      193155  2018-04-03 15:40  ENAS-pytorch-master\assets\cnn.png
     文件      133390  2018-04-03 15:40  ENAS-pytorch-master\assets\cnn_cell.png
     文件     4895676  2018-04-03 15:40  ENAS-pytorch-master\assets\ptb.gif
     文件       43825  2018-04-03 15:40  ENAS-pytorch-master\assets\rnn.png
     文件     6919284  2018-04-03 15:40  ENAS-pytorch-master\assets\wikitext.gif
     文件        6652  2018-04-03 15:40  ENAS-pytorch-master\config.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-master\data\
     文件          35  2018-04-03 15:40  ENAS-pytorch-master\data\__init__.py
     文件        1393  2018-04-03 15:40  ENAS-pytorch-master\data\image.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-master\data\ptb\
     文件      449945  2018-04-03 15:40  ENAS-pytorch-master\data\ptb\test.txt
     文件     5101618  2018-04-03 15:40  ENAS-pytorch-master\data\ptb\train.txt
     文件      399782  2018-04-03 15:40  ENAS-pytorch-master\data\ptb\valid.txt
     文件        1720  2018-04-03 15:40  ENAS-pytorch-master\data\text.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-master\data\wikitext\
     文件         159  2018-04-03 15:40  ENAS-pytorch-master\data\wikitext\README
     文件     1256449  2018-04-03 15:40  ENAS-pytorch-master\data\wikitext\test.txt
     文件    10797148  2018-04-03 15:40  ENAS-pytorch-master\data\wikitext\train.txt
     文件     1121681  2018-04-03 15:40  ENAS-pytorch-master\data\wikitext\valid.txt
     文件         596  2018-04-03 15:40  ENAS-pytorch-master\generate_gif.py
     文件        1185  2018-04-03 15:40  ENAS-pytorch-master\main.py
     目录           0  2018-04-03 15:40  ENAS-pytorch-master\models\
............此处省略10个文件信息