云计算Openstack 虚拟机调度策略

OpenStack的虚拟机调度策略是一个复杂而灵活的系统，它主要由两种调度器实现：FilterScheduler（过滤调度器）和ChanceScheduler（随机调度器）。以下是对这两种调度器及其调度策略的详细解释：

一、FilterScheduler（过滤调度器）

FilterScheduler是OpenStack默认的调度器，它实现了基于主机过滤（filtering）和权值计算（weighing）的调度算法。

1. 主机过滤（filtering）
   • FilterScheduler通过一系列过滤器（filters）来筛选满足虚拟机需求的计算节点。这些过滤器包括但不限于：
     • RetryFilter：刷掉之前已经调度过的节点，避免重复调度。
     • AvailabilityZoneFilter：根据可用域（Availability Zone）来筛选计算节点，提高容灾性和隔离服务。
     • RamFilter：根据可用内存来筛选计算节点，确保虚拟机有足够的内存资源。
     • DiskFilter：根据磁盘空间来筛选计算节点，确保虚拟机有足够的磁盘资源。
     • ComputeFilter：确保只有nova-compute服务正常工作的计算节点才能被调度。
     • ComputeCapabilitiesFilter：根据计算节点的特性（如架构类型）来筛选。
     • ImagePropertiesFilter：根据所选镜像的属性（如Hypervisor类型）来筛选匹配的计算节点。
     • ServerGroupAntiAffinityFilter：尽量将虚拟机分散部署到不同的计算节点上。
     • ServerGroupAffinityFilter：尽量将虚拟机部署到同一个计算节点上。
       过滤器可以通过配置文件（如nova.conf）进行自定义和扩展，以满足不同的业务需求。
2. 权值计算（weighing）
   • 在通过过滤器筛选后，FilterScheduler会根据一系列权重计算器（weighers）来计算剩余计算节点的权重值。
   • 权重计算器包括但不限于：
     • RAMWeigher：根据可用的RAM大小来决定计算节点的权重。
     • DiskWeigher：根据可用的磁盘大小来进行权值分配。
     • MetricsWeigher：通过主机的不同参数度量来决定主机的权值。
     • IoOpsWeigher：通过主机的IO负载来进行权重计算，默认选择负载最小的主机。
     • ServerGroupSoftAffinityWeigher：通过同一个主机组中运行的实例数进行权重计算。
   • 最终，FilterScheduler会选择权重值最高的计算节点来创建虚拟机实例。

二、ChanceScheduler（随机调度器）

ChanceScheduler是一个基于随机算法来选择可用主机的简单调度引擎。它不从任何资源审查的角度进行调度决策，而是从所有正常运行nova-compute服务的节点中随机选择一个来创建实例。这种调度策略在实际生产环境中基本上不会用到，因为它不提供资源优化和负载均衡等高级功能。

三、调度过程

1. 获取所有主机的信息，并根据调度请求中的要求（如忽略某些主机或只调度到某些主机上）来筛选候选主机。
2. 将筛选后的主机列表依次通过配置的所有过滤器的处理函数，过滤掉不满足相应条件的主机。
3. 对过滤后剩余的主机列表根据配置的权重计算器进行排序，选择权重值最高的主机作为虚拟机的部署目标。

四、错误排查与监控

在OpenStack的虚拟机调度过程中，可能会出现调度失败的情况。这时，管理员需要查看相关的日志文件（如nova-conductor和nova-scheduler的日志）来排查问题。此外，OpenStack还提供了一些工具和项目（如Watcher和Congress）来帮助监控和优化云资源的使用情况。

五、配置

在OpenStack中，虚拟机的调度策略可以通过Nova组件进行配置和定制。以下是一些常见的调度策略及其配置方法：

1. CPU过滤：确保虚拟机调度到具有特定CPU特性（例如：Intel VT或AMD-V）的主机上。

[scheduler]
allowed_filters=nova.filters.all_filters
weight_classes=nova.scheduler.filters.spice.host_cpu_weight_obj.HostCPUWeight

2. 主机集群过滤：根据虚拟机请求的特定主机集群进行调度。

[filter_scheduler]
host_aggregate_filters=nova.filters.host_aggregate_filters.AggregateHostFilter

3. 权重调度：通过定义权重类来调整主机选择，例如，可以根据CPU或内存资源的使用情况来调整权重。

[defaults]
scheduler_default_weights=ComputeWeight=1.0

4. 分区调度：在多个分区（如多个数据中心）之间调度实例。

[scheduler]
driver=nova.scheduler.filter_scheduler.FilterScheduler

5. 可用性区域：在特定的可用性区域内调度虚拟机以保护数据免受单点故障影响。

[filter_scheduler]
scheduler_available_filters=nova.scheduler.filters.standard_filters.AvailabilityZoneFilter

6. 主机选择：根据特定条件选择主机，例如，最小内存空闲量。

[scheduler]
driver=nova.scheduler.host_manager.HostManager

这些策略可以通过修改nova.conf文件并重启相关服务来生效。根据具体需求，可以通过编写自定义的过滤器或权重类来扩展调度器的功能。

六、自定义过滤器

在OpenStack中，虚拟机调度策略可以通过自定义filter和weigher来实现，以满足不同的业务需求。

1、自定义filter

1. 作用：
   • 自定义filter允许用户根据特定的条件或规则来筛选计算节点，从而确保虚拟机被调度到满足需求的主机上。
2. 实现方式：
   • 用户可以通过编写自定义的Python代码来实现filter，并将其添加到OpenStack的调度器中。
   • 自定义filter需要实现特定的接口和函数，以便与OpenStack的调度框架进行集成。
3. 示例：自定义Filter样例：TagFilter

• 目的：
  筛选具有特定标签的计算节点。

• 实现步骤：

  • 创建一个新的Python文件，例如tag_filter.py。
  • 在文件中导入必要的模块，并实现TagFilter类。
  • TagFilter类需要继承自OpenStack的HostFilter类，并实现host_passes方法。
  • 在host_passes方法中，编写逻辑来检查计算节点是否具有指定的标签。

• 示例代码：

from nova.scheduler.filters import HostFilter  
from nova import objects  class TagFilter(HostFilter):  """Filter hosts by a specific tag."""  def __init__(self):  self.required_tag = 'my_custom_tag'  # 设置所需的标签  def host_passes(self, host_state, filter_properties):  """Check if the host has the required tag."""  # 获取计算节点的元数据  metadata = host_state.host_summary['nova-compute'].get('metadata', {})  # 检查标签是否存在  if self.required_tag in metadata and metadata[self.required_tag] == 'true':  return True  return False

• 配置：
  • 将tag_filter.py文件放置在OpenStack的调度器插件目录中。
  • 在OpenStack的配置文件（如nova.conf）中，添加自定义filter到scheduler_available_filters和scheduler_default_filters中。

[scheduler]  
scheduler_available_filters = ... ,nova.scheduler.filters.tag_filter.TagFilter  
scheduler_default_filters = ... ,TagFilter

2、自定义weigher

1. 作用：
   • 自定义weigher允许用户根据特定的权重计算规则来对计算节点进行排序，从而选择最优的计算节点来部署虚拟机。
2. 实现方式：
   • 用户可以通过编写自定义的Python代码来实现weigher，并将其添加到OpenStack的调度器中。
   • 自定义weigher需要实现特定的接口和函数，以便与OpenStack的调度框架进行集成。
3. 示例：自定义Weigher样例：CpuUsageWeigher

• 目的：
  根据计算节点的CPU使用率进行排序，选择CPU使用率较低的计算节点。

• 实现步骤：

  • 创建一个新的Python文件，例如cpu_usage_weigher.py。
  • 在文件中导入必要的模块，并实现CpuUsageWeigher类。
  • CpuUsageWeigher类需要继承自OpenStack的Weigher类，并实现weigh_objects方法。
  • 在weigh_objects方法中，编写逻辑来计算每个计算节点的CPU使用率，并根据使用率进行排序。

• 示例代码：

from nova.scheduler.weighers import Weigher  
from nova import objects  class CpuUsageWeigher(Weigher):  """Weigh hosts by CPU usage."""  def weigh_objects(self, hosts, filter_properties):  """Weigh the hosts by CPU usage."""  weighed_hosts = []  for host in hosts:  # 假设host_state有一个方法或属性可以获取CPU使用率  cpu_usage = host.host_summary['nova-compute'].get('cpu_usage', 100)  # 默认值为100%  # 计算权重，这里简单地使用100 - cpu_usage作为权重值  weight = 100 - cpu_usage  weighed_host = objects.HostState(host=host, weight=weight)  weighed_hosts.append(weighed_host)  # 根据权重值进行排序  weighed_hosts.sort(key=lambda x: x.weight, reverse=True)  return weighed_hosts

注意：上述代码中的cpu_usage获取方式仅为示例，实际实现中需要根据OpenStack的具体实现和计算节点的监控数据来获取CPU使用率。

• 配置：
  • 将cpu_usage_weigher.py文件放置在OpenStack的调度器插件目录中。
  • 在OpenStack的配置文件（如nova.conf）中，添加自定义weigher到scheduler_weight_classes中。

[scheduler]  
scheduler_weight_classes = ... ,nova.scheduler.weighers.cpu_usage_weigher.CpuUsageWeigher

3、配置和使用自定义调度策略

1. 配置自定义filter和weigher：
   • 在OpenStack的配置文件（如nova.conf）中，用户需要指定自定义filter和weigher的路径和名称。
   • 通过修改scheduler_available_filters和scheduler_weight_classes配置选项，将自定义filter和weigher添加到可用的filter和weigher列表中。
2. 使用自定义调度策略：
   • 在创建虚拟机时，用户可以通过指定特定的flavor或其他参数来触发自定义调度策略的执行。
   • OpenStack的调度器会根据配置的自定义filter和weigher来筛选和排序计算节点，并最终选择最优的计算节点来部署虚拟机。

4、注意事项

1. 兼容性：
   • 自定义filter和weigher需要与OpenStack的版本和架构兼容，以确保其能够正确运行和集成。
2. 性能：
   • 自定义filter和weigher的执行效率会影响虚拟机的调度速度和性能。因此，在实现自定义调度策略时，需要关注其性能表现并进行优化。
3. 安全性：
   • 自定义filter和weigher需要保证安全性，避免引入潜在的安全漏洞或风险。
     综上所述，OpenStack提供了灵活的虚拟机自定义调度策略，允许用户根据特定的需求和条件来筛选和排序计算节点。通过配置和使用自定义filter和weigher，用户可以实现对虚拟机调度过程的精细控制和优化。