神经网络结构搜索有望加速寻找神经网络结构的过程，从而为给定的数据集产生良好的模型。
神经模式搜索是为给定数据集自动寻找一个或多个模式的任务，这将为给定数据集生成具有良好结果的模型。神经结构搜索是目前的一个新领域。正在进行大量的研究，并且有许多不同的方法来完成这项任务，并且通常没有单一的最佳方法，甚至没有单一的最佳方法来解决特殊类型的问题，例如图像中的对象识别。
神经架构搜索是AutoML的一个方面，还有特征工程、迁移学习和超参数优化。这可能是目前正在积极研究的最难的机器学习问题；
连神经架构搜索方法的评价都很难。神经搜索研究也可能既昂贵又耗时。
换句话说，它消耗了相当多的计算资源，而计算资源就是金钱。
改善神经架构搜索的动机相当明显。大多数神经网络模型的进步，如图像分类和语言翻译，都需要对神经网络架构进行大量的手动调整，这既耗时又容易出错。即使与公有云上高端GPU的成本相比，数据科学家的人力成本也是非常高的。
正如许多作者所观察到的，由于许多原因，许多神经结构搜索研究是不可重复的。此外，许多神经架构搜索算法要么无法击败随机搜索，要么从未与有用的基线进行过比较。
Yang等人的研究表明，许多神经结构搜索技术很难显著超过随机抽样的平均结构基线。它们还提供了一个存储库，其中包括用于在多个不同数据集上评估神经架构搜索方法的代码，以及用于使用不同协议增强架构的代码。
Lindauer和Hutter根据他们的文章列出了NAS的最佳实践:
发布代码的最佳实践
对于您报告的所有实验，请检查您是否发表了:
评估最终架构的培训工作流程
搜索空之间的代码
工作流最终评估的超参数和随机种子
NAS方法的代码
NAS方法的超参数和随机种子
Erken等人考察了神经架构搜索方法，按照搜索区间空、搜索策略和性能估计策略进行了分类。搜房空可以用于整个架构，一层一层，也可以仅限于组装预定义的单元。
神经架构的搜索策略包括随机搜索、贝叶斯优化、进化方法、强化学习和基于梯度的方法。所有这些方法都有成功的迹象，但没有一个真正突出。
评估神经网络性能的最简单方法是根据数据对网络进行训练和验证。不幸的是，这可能导致神经架构搜索的大量计算。该降低方法包括降低保真度估计；推断学习曲线；热启动训练；和重量分担。所有这些方法都可以减少训练时间。
然而，由这些近似引入的偏差还没有被很好地理解。
微软的Petridish项目
微软研究院声称已经开发出一种新的神经架构搜索方法，它在现有的网络层上增加了快捷连接，并使用了权重共享。添加的快捷链接有效地在增强层上执行梯度提升。他们称这个项目为Petridish。
据说这种方法可以减少训练时间，支持热启动训练。根据研究人员的说法，这种方法在细胞搜索和宏搜索上都表现良好。
引用的实验结果对于CIFAR-10图像数据集非常好，但是对于Penn Treebank语言数据集没有什么特别之处。虽然项目Petridish听起来很有趣，但它没有与详细讨论的其他方法进行比较。与我们讨论的其他加速方法相比，尚不清楚它是神经架构搜索的重大改进还是只是另一种达到相同目的的方法。
