OpenStack實踐(十):Cloud Init+Config Drive定制實例

環境：

ubuntu安裝詳見：Ubuntu16.04.5以lvm方式安裝全記錄

openstack安裝詳見：OpenStack實踐(一):Ubuntu16.04下DevStack方式搭建p版OpenStack

浮動ip搭建詳見：OpenStack實踐(九):Open vSwitch方式實現floating IP

架構圖：

cloud-init簡介

cloud-init是linux的一個工具,當系統啟動時,cloud-init可從nova metadata服務或者config drive中獲取metadata,完成包括但不限于下面的定制化工作：
1.設置 default locale
2.設置 hostname
3.添加 ssh keys到 .ssh/authorized_keys
4.設置用戶密碼
5.配置網絡

為了實現instance定制工作,cloud-init會按5個階段執行任務：
1.Generator    (cloud-config.target)
2.Local    (cloud-init-local.service)
3.Network    (cloud-init.service)
4.Config    (cloud-config.service)
5.Final    (cloud-final.service)

各階段作用

Generator：讀取配置文件cloud.cfg；

Local：定位“本地”數據源和配置網絡；

Network：讀取cloud_init_modules模塊的指定配置；

Config：讀取cloud_config_modules模塊的指定配置

Final ：分別讀取cloud_final_modules模塊的指定配置

cloud image
ubuntu鏡像：http://cloud-images.ubuntu.com/
centos7鏡像：http://cloud.centos.org/centos/7/images/
這些鏡像已經預裝cloud-init

config drive

當無dhcp服務時，可以通過config drive獲得metadata

配置config driver

stack@openstack-controller:~$ view /etc/nova/nova.conf
flat_injected = True

該配置是為了關閉DHCP服務時實例網卡也能被正確配置，重啟計算服務后配置生效。

stack@openstack-controller:~$ sudo systemctl restart devstack@n*

關閉dhcp

為確保實例通過config driver獲取的metadata，這里關閉dhcp服務

啟動實例

root@openstack-controller:~# nova boot --flavor m1.small --image centos7  --availability-zone nova:openstack-controller --nic net-name=vxlan100 --key-name centos7 --security-groups centos7 --user-data /tmp/centos.config --config-drive true centos7-init

通過--config-drive true啟用config-driver,通過--user-data /tmp/centos.config加載配置,ubuntu的配置文件為/tmp/ubuntu.config

打印的日志，傳入的user_data

綁定浮動IP

user-data：centos.config

root@openstack-controller:~# more /tmp/centos.config
#cloud-config
chpasswd:
    list: |
        root:rootroot
        centos:centos
    expire: false
ssh_pwauth: yes

hostname: loong576

yum_repos:
    epel-163:
        baseurl: http://mirrors.163.com/centos/$releasever/os/$basearch/
        name: Centos-7
        enabled: true

resolv_conf:
    nameservers: ['218.104.1xx.1xx', '8.8.8.8']
    searchdomains:
        - localdomain
    domain: localdomain
    options:
        rotate: true
        timeout: 1
manage_resolv_conf: true


packages:
    - vim
    - wget
    - httpd

timezone: 'Asia/Shanghai'

runcmd:
    - [ sed, -i, "s/^ *SELINUX=enforcing/SELINUX=disabled/g", /etc/selinux/config ]
    - [ mkdir, /dropme ]
    - [ touch, /root/abc.txt ]
    - [ sed, -i, "s/^ *nameserver.*/nameserver 218.104.1xx.1xx/g", /etc/resolv.conf ]
    - [ rpm, --import, /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 ]

power_state:
    delay: now
    mode: reboot
    message: reboot now
    timeout: 30
    condition: true

驗證是否生效

驗證定制的配置文件centos.config是否生效

實例可以直接root登陸（默認只能通過創建密鑰對方式登陸）成功獲取到ip，配置了yum源、時區，runcmd運行正常，關閉了selinux（power-state-change正常），產生了測試文件，修改了dns信息

user-data：ubuntu.config

root@openstack-controller:~# more /tmp/ubuntu.config
#cloud-config
chpasswd:
    list: |
        root:rootroot
        ubuntu:ubuntu
    expire: false
ssh_pwauth: yes


hostname: ubuntu1604

apt:
    primary:
        - arches: [default]
          uri: "http://mirrors.aliyun.com/ubuntu/"
          search:
            - "http://mirrors.aliyun.com/ubuntu/"


resolv_conf:
    nameservers: ['218.104.1xx.1xx', '8.8.8.8']
    searchdomains:
        - localdomain
    domain: localdomain
    options:
        rotate: true
        timeout: 1
manage_resolv_conf: true

packages:
 - apache2

timezone: 'Asia/Shanghai'

runcmd:
    - [ mkdir, /dropme ]
    - [ sed, -i, "$a nameserver 218.104.1xx.xxx", /etc/resolv.conf ]

驗證是否生效

驗證定制的配置文件ubuntu.config是否生效

實例可以直接ubuntu登陸（默認只能通過創建密鑰對方式登陸）成功獲取到ip，配置了hostname、apt源、時區，runcmd運行正常，產生了測試文件，修改了dns信息

查看config drive

sr0就是config driver，掛載并查看

[root@centos7-init ~]# lsblk 
[root@centos7-init ~]# mount /dev/sr0 /mnt
[root@centos7-init ~]# cd /mnt/openstack/latest/ && ll
[root@centos7-init latest]# more meta_data.json 
[root@centos7-init latest]# more user_data

meta_data.json中存放了public_keys,hostname等信息，user_data對應centos.config。

cloud-init.log日志分析

[root@centos7-init ~]# view /var/log/cloud-init.log

第一階段服務

第二階段服務

第三階段服務

在第三階段init-network服務會依次讀取cloud_init_modules模塊中以下配置：check-cache、consume-user-data、consume-vendor-data、config-migrator、config-bootcmd、config-write-files、config-growpart、config-resizefs、config-set_hostname、config-update_etc_hosts、config-rsyslog、config-users-groups、config-ssh

第四階段服務

在第四階段modules-config服務會依次讀取cloud_config_modules模塊中以下配置：check-cache、consume-user-data、consume-vendor-data、config-migrator、config-bootcmd、config-write-files、config-growpart、config-resizefs、config-set_hostname、config-update_etc_hosts、config-disable-ec2-metadata、config-runcmd

第五階段服務

在第五階段modules-final服務會依次讀取cloud_final_modules模塊中以下配置：config-rightscale_userdata、config-scripts-per-boot、config-scripts-per-instance、config-scripts-user、config-ssh-authkey-fingerprints、config-keys-to-console、config-phone-home、config-final-message、config-power-state-chang

cloud init的modules里面提供了豐富的定制信息，詳情可以參考Cloud-Init官網：https://cloudinit.readthedocs.io/en/latest/index.html#

cloud-init調試

各服務單獨調試

init-local:cloud-init init --local
cloud_init_modules:cloud-init init
cloud_config_modules:cloud-init modules --mode=config
cloud_final_modules:cloud-init modules --mode=final

[root@centos7-init ~]# cloud-init init --local

調試某模塊的某個配置

[root@centos7-init ~]# cloud-init single --name timezone

調試cloud_config_modules模塊的timezone配置

實踐總結：

1.各模塊的各配置項依次讀取生效

在定制實例時，會依次讀取配置文件cloud.cfg配置項。

實驗環境的主機需配DNS才能訪問外網，通過cloud_config_modules模塊的runcmd配置項配置DNS，由于配置項package-update-upgrade-install在runcmd之前，cloud-init會先安裝軟件，這時外網是不通的，所以報錯。

2.centos的hostname設置不生效

嘗試了很多參數組合，都沒有到hostname，原因待查

嘗試過的參數

hostname: loong576
manage_etc_hosts: true
preserve_hostname: true
fqdn: loong576

ubuntu沒有這個問題，只需設置hostname即可，重啟系統也任然生效。

3.DNS配置不生效

配置項resolv_conf不生效。centos和ubuntu都不生效，centos貌似是個bug，參考：https://bugzilla.redhat.com/show_bug.cgi?id=1489270，ubuntu建議將dns信息寫入網卡/etc文件/network/interfaces。

4.runcmd執行命令是應該是雙引號

這個有點坑，在用sed命令執行關閉selinux和配置DNS時，正常的單引號''需替換為"",否則執行報錯。

5.某個配置項不合法則整個配置不生效

runmcd有個配置非法

報錯日志

此時整個centos.config配置文件不生效

cloud-init配置文件已上傳github：https://github.com/loong576/cloud-init.git

參考：

https://cloudinit.readthedocs.io/en/latest/
https://docs.openstack.org/ironic/latest/install/configdrive.html
https://help.ubuntu.com/community/CloudInit
https://blog.csdn.net/allison_ywt/article/details/52943480
https://blog.51cto.com/cloudman/1912640