openai 入门，学习OpenStack需要哪些基础知识

1，学习OpenStack需要哪些基础知识

会Python编程语言熟悉Tornado网页服务器、Nebula运算使用过Twisted框架了解Open Virtualization Format、AMQP、SQLAlchemy等标准了解虚拟化更好：KVM、Xen、VirtualBox 、QEMU、 LXC 等

openstack是一个开源的云计算管理平台,旨在为公共及私有云的建设与管理提供软件的开源项目。由几个主要的组件组合起来完成具体工作。openstack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。openstack通过各种互补的服务提供了基础设施即服务（iaas）的解决方案，每个服务提供api以进行集成。很高兴为您解答！

学习OpenStack需要哪些基础知识

2，浅谈策略梯度PG算法

Policy Optimization（策略优化）是强化学习中的一大类算法，其基本思路区别于Value-based的算法。因此，很多教科书都将model-free RL分成两大类，Policy Optimization和Value-based。本系列博客将会参考OpenAI发布的入门教程 Spinning Up [1] ，Spinning Up系列是入门Policy Optimization的非常好的教材，特别适合初学者。Policy Gradient（策略梯度，简称PG）算法是策略优化中的核心概念，本章我们就将从最简单的PG推导开始，一步步揭开策略优化算法的神秘面纱。如果用一句话来表达策略梯度的直观解释，那就是“如果动作使得最终回报变大，那么增加这个动作出现的概率，反之，减少这个动作出现的概率”。这句话表达了两个含义：本节我们将一步步推导出策略梯度的基础公式，这一小节非常重要，理解了推导过程，就基本上理解了策略梯度的核心思想。所以，一定要耐心的把这一小节的内容全部看懂，最好能够达到自行推导的地步。我们用参数化的神经网络表示我们的策略，那我们的目标，就可以表示为调整，使得期望回报最大，用公式表示：在公式(1)中，表示从开始到结束的一条完整路径。通常，对于最大化问题，我们可以使用梯度上升算法来找到最大值。为了能够一步步得到最优参数，我们需要得到，然后利用梯度上升算法即可，核心思想就是这么简单。关键是求取最终的回报函数关于的梯度，这个就是策略梯度（policy gradient），通过优化策略梯度来求解RL问题的算法就叫做策略梯度算法，我们常见的PPO，TRPO都是属于策略梯度算法。下面我们的目标就是把公式（2）逐步展开，公式（2）中最核心的部分就是，这也是这篇博客最核心的地方。在以上的推导中，用到了log求导技巧：关于的导数是。因此，我们可以得到以下的公式：所以，才有公式（5）到公式（6），接下来我们把公式（7）进一步展开，主要是把展开。先来看看加入log，化乘法为加法：计算log函数的梯度，并且约去一些常量：因此，结合公式（7）和公式（9），我们得到了最终的表达式公式（10）就是PG算法的核心表达式了，从这个公式中可以看出，我们要求取的策略梯度其实是一个期望，具体工程实现可以采用蒙特卡罗的思想来求取期望，也就是采样求均值来近似表示期望。我们收集一系列的 ,其中每一条轨迹都是由agent采用策略与环境交互采样得到的，那策略梯度可以表示为：其中，表示采样的轨迹的数量。现在，我们完成了详细的策略梯度的推导过程，长舒一口气，接下来的工作就比较轻松了，就是在公式（10）的基础上修修改改了。再进行简单修改之前，我们再总结一下公式（10），毕竟这个公式是PG算法最核心的公式：我们继续观察公式（10），对于公式中的，表示整个轨迹的回报，其实并不合理。对于一条轨迹中的所有动作，均采用相同的回报，就相当于对于轨迹中的每一个动作都赋予相同的权重。显然，动作序列中的动作有好有坏，都采取相同的回报，无法达到奖惩的目的，那我们该怎么表示某个状态下，执行某个动作的回报呢？一种比较直观思路是，当前的动作将会影响后续的状态，并且获得即时奖励（reward），那么我们只需要使用折扣累计回报来表示当前动作的回报就行了，用公式表示为：这在spinning up中叫做reward to go，所以，公式（10）可以表示为：当然，使用reward to go的权重分配还是相当初级，我们可以使用更加高级的权重分配方式，进一步减少回报分配的方差，限于篇幅原因，我们后续再聊。本章我们花了大量的篇幅推导了策略梯度（PG）的核心公式，得到了关键表达式（10），理解该公式对于我们后续理解整个PG算法族非常有帮助，希望大家能够认真的理解这一公式推导过程。

浅谈策略梯度PG算法

3，如何从零开始学习OpenStack

先安装docker，下载openstack的镜像，关于docker的使用资料docker资料网上搜索一下，很多，比较容易学习和使用2）安装后，先去熟悉如何应用openstack3）建议你先从horizon模块开始研究源码，边研究，边试着做些修改,这样切入比较容易点，千万别以上来就去啃nova neutron模块，难度太大，不太容易切如进去4）开发环境可以考虑pychormdevstack另外，官方文档资料写的很详细，多去看看

1）先安装OpenStack的环境，几种方法第一种方法：先安装docker，下载openstack的镜像，关于docker的使用资料Docker资料网上搜索一下，很多，比较容易学习和使用第二种方法：使用fuel来安装 Fuel 30 分钟快速安装OpenStack2）安装后，先去熟悉如何应用OpenStack3）建议你先从horizon模块开始研究源码，边研究，边试着做些修改,这样切入比较容易点，千万别以上来就去啃nova neutron模块，难度太大，不太容易切如进去4）开发环境可以考虑pychormdevstack

如何从零开始学习OpenStack

4，openfoam入门应该从什么学起

OpenFOAM是一个跟Fluent，CFX类似的CFD软件，但其为开源的，可以看做是一个在linux下运行的计算流体力学（CFD）类库[1] 。外文名OpenFOAM软件类型CFD软件类似软件Fluent，CFX前身FOAMOpenFOAM的前身为FOAM（Field Operation and Manipulation的简写），后来作为开源代码公布到网上，任何人都可以自由下载和传播它的源代码。其作者之一Hrvoje Jasak为克罗地亚人，1993年在读PhD期间开始写FOAM。目前OpenFOAM有两个版本，一个是官方版本由weller维护，一个是ext版本由Jasak维护。功能介绍编辑OpenFOAM是一个完全由C++编写的面向对象的CFD类库，采用类似于我们日常习惯的方法在软件中描述偏微分方程的有限体积离散化，支持多面体网格（比如CD-adapco公司推出的CCM+生成的多面体网格），因而可以处理复杂的几何外形，其自带的snappyHexMesh可以快速高效的划分六面体+多面体网格，网格质量高。支持大型并行计算，目前针对OpenFOAM库的GPU运算优化也正在进行中[2] 。简单来讲，OpenFOAM是一个针对不同的的流动编写不同的C++程序集合[3] ，每一种流体流动都可以用一系列的偏微分方程表示，求解这种运动的偏微分方程的代码，即为OpenFOAM的一个求解器。针对一个简单的单相牛顿流体层流运动，icoFoam即可进行求解。标准求解器：编辑openfoam包含大量求解器，研究人员也可以编写自己的求解器。简单介绍以下几个自带的标准求解器：icoFoam：用于求解层流下的单相牛顿流体流动。simpleFoam：求解单相牛顿以及非牛顿湍流流动。interFoam：牛顿和非牛顿流体的VOF模型求解。产品特点编辑全面支持c++库。愈加广泛的用途，例如目前已经被用在了金融等方面[4] 。各种各样的工具箱，包括各种ODE求解器、ChemKIN接口等。支持多种网格接口

foam-polyether urethane open cell 聚醚型聚氨酯开孔泡沫foam closed cell闭孔泡沫