update 10 NAS algs

lib/aa_nas_api/__init__.py

@@ -1,2 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .api import AANASBenchAPI
 from .api import ArchResults, ResultsCount

lib/aa_nas_api/api.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, copy, torch, numpy as np
 from collections import OrderedDict
 

lib/config_utils/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .configure_utils    import load_config, dict2config, configure2str
 from .basic_args         import obtain_basic_args
 from .attention_args     import obtain_attention_args

lib/config_utils/basic_args.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, time, random, argparse
 from .share_args import add_shared_args
 

lib/datasets/DownsampledImageNet.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, hashlib, torch
 import numpy as np
 from PIL import Image

lib/datasets/SearchDatasetWrap.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch, copy, random
 import torch.utils.data as data
 

lib/datasets/__init__.py

@@ -1,2 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .get_dataset_with_transform import get_datasets
 from .SearchDatasetWrap import SearchDataset

lib/datasets/get_dataset_with_transform.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, torch
 import os.path as osp
 import numpy as np

lib/datasets/test_utils.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 def test_imagenet_data(imagenet):
   total_length = len(imagenet)
   assert total_length == 1281166 or total_length == 50000, 'The length of ImageNet is wrong : {}'.format(total_length)

lib/log_utils/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .logger       import Logger
 from .print_logger import PrintLogger
 from .meter        import AverageMeter

lib/models/SharedUtils.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 import torch.nn as nn
 

lib/models/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 from os import path as osp
 

lib/models/cell_infers/__init__.py

@@ -1 +1,4 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .tiny_network import TinyNetwork

lib/models/cell_operations.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 import torch.nn as nn
 

lib/models/cell_searchs/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .search_model_darts_v1 import TinyNetworkDartsV1
 from .search_model_darts_v2 import TinyNetworkDartsV2
 from .search_model_gdas     import TinyNetworkGDAS

lib/models/cell_searchs/_test_module.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 from search_model_enas_utils import Controller
 

lib/models/cell_searchs/cells.py

@@ -1,115 +0,0 @@
-import math, torch
-import torch.nn as nn
-import torch.nn.functional as F
-from copy import deepcopy
-from ..cell_operations import OPS
-
-
-class SearchCell(nn.Module):
-
-  def __init__(self, C_in, C_out, stride, max_nodes, op_names):
-    super(SearchCell, self).__init__()
-
-    self.op_names  = deepcopy(op_names)
-    self.edges     = nn.ModuleDict()
-    self.max_nodes = max_nodes
-    self.in_dim    = C_in
-    self.out_dim   = C_out
-    for i in range(1, max_nodes):
-      for j in range(i):
-        node_str = '{:}<-{:}'.format(i, j)
-        if j == 0:
-          xlists = [OPS[op_name](C_in , C_out, stride) for op_name in op_names]
-        else:
-          xlists = [OPS[op_name](C_in , C_out,      1) for op_name in op_names]
-        self.edges[ node_str ] = nn.ModuleList( xlists )
-    self.edge_keys  = sorted(list(self.edges.keys()))
-    self.edge2index = {key:i for i, key in enumerate(self.edge_keys)}
-    self.num_edges  = len(self.edges)
-
-  def extra_repr(self):
-    string = 'info :: {max_nodes} nodes, inC={in_dim}, outC={out_dim}'.format(**self.__dict__)
-    return string
-
-  def forward(self, inputs, weightss):
-    nodes = [inputs]
-    for i in range(1, self.max_nodes):
-      inter_nodes = []
-      for j in range(i):
-        node_str = '{:}<-{:}'.format(i, j)
-        weights  = weightss[ self.edge2index[node_str] ]
-        inter_nodes.append( sum( layer(nodes[j]) * w for layer, w in zip(self.edges[node_str], weights) ) )
-      nodes.append( sum(inter_nodes) )
-    return nodes[-1]
-
-  # GDAS
-  def forward_acc(self, inputs, weightss, indexess):
-    nodes = [inputs]
-    for i in range(1, self.max_nodes):
-      inter_nodes = []
-      for j in range(i):
-        node_str = '{:}<-{:}'.format(i, j)
-        weights  = weightss[ self.edge2index[node_str] ]
-        indexes  = indexess[ self.edge2index[node_str] ].item()
-        import pdb; pdb.set_trace() # to-do
-        #inter_nodes.append( self.edges[node_str][indexes](nodes[j]) * weights[indexes] )
-      nodes.append( sum(inter_nodes) )
-    return nodes[-1]
-
-  # joint
-  def forward_joint(self, inputs, weightss):
-    nodes = [inputs]
-    for i in range(1, self.max_nodes):
-      inter_nodes = []
-      for j in range(i):
-        node_str = '{:}<-{:}'.format(i, j)
-        weights  = weightss[ self.edge2index[node_str] ]
-        aggregation = sum( layer(nodes[j]) * w for layer, w in zip(self.edges[node_str], weights) ) / weights.numel()
-        inter_nodes.append( aggregation )
-      nodes.append( sum(inter_nodes) )
-    return nodes[-1]
-
-  # uniform random sampling per iteration
-  def forward_urs(self, inputs):
-    nodes = [inputs]
-    for i in range(1, self.max_nodes):
-      while True: # to avoid select zero for all ops
-        sops, has_non_zero = [], False
-        for j in range(i):
-          node_str   = '{:}<-{:}'.format(i, j)
-          candidates = self.edges[node_str]
-          select_op  = random.choice(candidates)
-          sops.append( select_op )
-          if not hasattr(select_op, 'is_zero') or select_op.is_zero == False: has_non_zero=True
-        if has_non_zero: break
-      inter_nodes = []
-      for j, select_op in enumerate(sops):
-        inter_nodes.append( select_op(nodes[j]) )
-      nodes.append( sum(inter_nodes) )
-    return nodes[-1]
-
-  # select the argmax
-  def forward_select(self, inputs, weightss):
-    nodes = [inputs]
-    for i in range(1, self.max_nodes):
-      inter_nodes = []
-      for j in range(i):
-        node_str = '{:}<-{:}'.format(i, j)
-        weights  = weightss[ self.edge2index[node_str] ]
-        inter_nodes.append( self.edges[node_str][ weights.argmax().item() ]( nodes[j] ) )
-        #inter_nodes.append( sum( layer(nodes[j]) * w for layer, w in zip(self.edges[node_str], weights) ) )
-      nodes.append( sum(inter_nodes) )
-    return nodes[-1]
-
-  # select the argmax
-  def forward_dynamic(self, inputs, structure):
-    nodes = [inputs]
-    for i in range(1, self.max_nodes):
-      cur_op_node = structure.nodes[i-1]
-      inter_nodes = []
-      for op_name, j in cur_op_node:
-        node_str = '{:}<-{:}'.format(i, j)
-        op_index = self.op_names.index( op_name )
-        inter_nodes.append( self.edges[node_str][op_index]( nodes[j] ) )
-      nodes.append( sum(inter_nodes) )
-    return nodes[-1]

lib/models/cell_searchs/genotypes.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from copy import deepcopy
 
 

lib/models/cell_searchs/search_cells.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import math, random, torch
 import warnings
 import torch.nn as nn

lib/models/cell_searchs/search_model_darts_v1.py

@@ -1,3 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
 ########################################################
 # DARTS: Differentiable Architecture Search, ICLR 2019 #
 ########################################################

lib/models/cell_searchs/search_model_darts_v2.py

@@ -1,3 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
 ########################################################
 # DARTS: Differentiable Architecture Search, ICLR 2019 #
 ########################################################

lib/models/cell_searchs/search_model_enas.py

@@ -1,3 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
 ##########################################################################
 # Efficient Neural Architecture Search via Parameters Sharing, ICML 2018 #
 ##########################################################################

lib/models/cell_searchs/search_model_enas_utils.py

@@ -1,3 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
 ##########################################################################
 # Efficient Neural Architecture Search via Parameters Sharing, ICML 2018 #
 ##########################################################################

lib/models/cell_searchs/search_model_random.py

@@ -1,3 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
 ##############################################################################
 # Random Search and Reproducibility for Neural Architecture Search, UAI 2019 # 
 ##############################################################################

lib/models/cell_searchs/search_model_setn.py

@@ -1,3 +1,5 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
 ######################################################################################
 # One-Shot Neural Architecture Search via Self-Evaluated Template Network, ICCV 2019 #
 ######################################################################################

lib/models/shape_searchs/SearchCifarResNet.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import math, torch
 from collections import OrderedDict
 from bisect import bisect_right

lib/models/shape_searchs/SearchCifarResNet_depth.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import math, torch
 from collections import OrderedDict
 from bisect import bisect_right

lib/models/shape_searchs/SearchCifarResNet_width.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import math, torch
 import torch.nn as nn
 from ..initialization import initialize_resnet

lib/models/shape_searchs/SoftSelect.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import math, torch
 import torch.nn as nn
 

lib/models/shape_searchs/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .SearchCifarResNet_width import SearchWidthCifarResNet
 from .SearchCifarResNet_depth import SearchDepthCifarResNet
 from .SearchCifarResNet       import SearchShapeCifarResNet

lib/models/shape_searchs/test.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 import torch.nn as nn
 from SoftSelect import ChannelWiseInter

lib/nas_infer_model/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 
 def obtain_nas_infer_model(config):

lib/nas_infer_model/operations.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import torch
 import torch.nn as nn
 

lib/procedures/__init__.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 from .starts     import prepare_seed, prepare_logger, get_machine_info, save_checkpoint, copy_checkpoint
 from .optimizers import get_optim_scheduler
 

lib/procedures/basic_main.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, time, torch
 from log_utils import AverageMeter, time_string
 from utils     import obtain_accuracy

lib/procedures/optimizers.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import math, torch
 import torch.nn as nn
 from bisect import bisect_right

lib/procedures/search_main.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, time, torch
 from log_utils import AverageMeter, time_string
 from utils     import obtain_accuracy

lib/procedures/search_main_v2.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, time, torch
 from log_utils import AverageMeter, time_string
 from utils     import obtain_accuracy

lib/procedures/simple_KD_main.py

@@ -1,3 +1,6 @@
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, time, torch
 import torch.nn.functional as F
 # our modules

lib/procedures/starts.py

@@ -1,9 +1,6 @@
-# Copyright (c) Facebook, Inc. and its affiliates.
-# All rights reserved.
-#
-# This source code is licensed under the license found in the
-# LICENSE file in the root directory of this source tree.
-#
+##################################################
+# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2019 #
+##################################################
 import os, sys, time, torch, random, PIL, copy, numpy as np
 from os import path as osp
 from shutil  import copyfile