Openstack Mitaka with Packstack (RHEL7,CentOS7)

Packstack คืออะไร
Packstack คือ เครื่องมือที่ใช้สำหรับการติดตั้ง Openstack แบบ Cluster สามารถติดตั้งแบบ all-in-one เพื่อให้เราสามารถเรียนรู้การใช้งาน หรือจะติดตั้งแบบ multinode เพื่อใช้งานได้ด้วยการสร้างและปรับแต่งค่าของ answerfille เบื้องหลังการทำงานจะใช้ config management แบบ Puppet ที่มี puppet module ทำหน้าเป็น template สำหรับการติดตั้ง openstack หลังจากติดตั้งแล้วสามารถดูได้ที่ /usr/share/openstack-puppet/modules/

$ ls /usr/share/openstack-puppet/modules/
aodh        elasticsearch  java             module-data       openstacklib  ssh       uchiwa
apache      firewall       kafka            mongodb           pacemaker     staging   vcsrepo
cassandra   fluentd        keepalived       mysql             packstack     stdlib    vlan
ceilometer  git            keystone         n1k_vsm           qpid          swift     vswitch
ceph        glance         kibana3          nagios            rabbitmq      sysctl    xinetd
certmonger  gnocchi        kmod             neutron           redis         tempest   zaqar
cinder      haproxy        manila           nova              remote        timezone  zookeeper
concat      heat           memcached        nssdb             rsync         tomcat
contrail    horizon        midonet          ntp               sahara        tripleo
corosync    inifile        mistral          opendaylight      sensu         trove
datacat     ironic         module-collectd  openstack_extras  snmp          tuskar

เตรียม infrastructure
สร้าง directory ชื่อ openstack และภายในมี Vagrantfile ดังนี้

Vagrantfile

# -*- mode: ruby -*-
# vi: set ft=ruby :

$script = <<SCRIPT
echo "run provisioning..."
echo 'root:password' | sudo chpasswd
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
yum install -y epel-release
yum install -y centos-release-openstack-mitaka
yum update -y
yum install -y openstack-packstack
SCRIPT

Vagrant.configure("2") do |config|
  config.vm.box = "centos/7"
  config.vm.define :controller do |node|
            node.vm.network :private_network, :ip => "10.0.0.10"
            node.vm.network :private_network, :ip => "20.0.0.10"
            node.vm.provider :libvirt do |domain|
              domain.uri = 'qemu+unix:///system'
              domain.driver = 'kvm'
              domain.host = "server1.example.com"
              domain.memory = 8192
              domain.cpus = 4
              domain.nested = true
              domain.volume_cache = 'none'
              domain.storage :file, :size => '20G'
            end
    node.vm.provision "shell", inline: $script
  end
  config.vm.define :compute do |node|
            node.vm.network :private_network, :ip => "10.0.0.11"
            node.vm.network :private_network, :ip => "20.0.0.11"
            node.vm.provider :libvirt do |domain|
              domain.uri = 'qemu+unix:///system'
              domain.driver = 'kvm'
              domain.host = "server2.example.com"
              domain.memory = 4096
              domain.cpus = 2
              domain.nested = true
              domain.volume_cache = 'none'
            end
    node.vm.provision "shell", inline: $script
  end
end
$ vagrant up --provider libvirt
$ vagrant status
Current machine states:

controller                running (libvirt)
compute                   running (libvirt)

$ vagrant halt
$ vagrant up

$ vagrant ssh controller
$ sudo su -
$ getenforce
Disabled

$ sudo systemctl disable firewalld
$ sudo systemctl stop firewalld
$ sudo systemctl disable NetworkManager
$ sudo systemctl stop NetworkManager
$ sudo systemctl enable network
$ sudo systemctl start network

เตรียม cinder list
Cinder Service กำหนดให้ใช้ disk จาก volume group ที่ชื่อ cinder-volumes และใน config Vagrant ได้มีการเพิ่ม disk ให้แก่ vm 1 ลูก mount อยู่ที่ /dev/vdb

$ sudo su -
# fdisk -l | grep vdb
# Disk /dev/vdb: 21.5 GB, 21474836480 bytes, 41943040 sectors

# pvcreate /dev/vdb
# vgcreate cinder-volumes /dev/vdb
# vgs
  VG             #PV #LV #SN Attr   VSize  VFree  
  VolGroup00       1   2   0 wz--n- 39.50g 320.00m
  cinder-volumes   1   0   0 wz--n- 20.00g  20.00g

สร้างไฟล์ answerfile001.txt จากคำสั่ง packstack

# cd /root
# packstack --gen-answer-file  answerfile001.txt

# ip a s eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:b5:b5:fa brd ff:ff:ff:ff:ff:ff
    inet 192.168.121.147/24 brd 192.168.121.255 scope global dynamic eth0
       valid_lft 1808sec preferred_lft 1808sec
    inet6 fe80::5054:ff:feb5:b5fa/64 scope link 
       valid_lft forever preferred_lft forever

# ip a s eth1
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:7b:64:20 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.10/24 brd 10.0.0.255 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::5054:ff:fe7b:6420/64 scope link 
       valid_lft forever preferred_lft forever

แก้ ip ของ management network
packstack จะทำการเอาค่า ip จาก eth0 มาเป็นค่าของ management ip ซึ่งคือ 192.168.121.147 ค่า ip จะเป็นค่าที่อยู่ใน answerfile001.txt

# grep HOST answerfile001.txt
CONFIG_CONTROLLER_HOST=192.168.121.9
CONFIG_COMPUTE_HOSTS=192.168.121.9
CONFIG_NETWORK_HOSTS=192.168.121.9
CONFIG_VCENTER_HOST=
CONFIG_STORAGE_HOST=192.168.121.9
CONFIG_SAHARA_HOST=192.168.121.9
CONFIG_AMQP_HOST=192.168.121.9
CONFIG_MARIADB_HOST=192.168.121.9
...

# eth0_ip=$(ip addr show eth0 | grep "inet\b" | awk '{print $2}' | cut -d/ -f1)
# echo $eth0_ip
192.168.121.9

# eth1_ip=$(ip addr show eth1 | grep "inet\b" | awk '{print $2}' | cut -d/ -f1)
# echo $eth1_ip
10.0.0.10

# sed -i.orig "s/$eth0_ip/$eth1_ip/g" answerfile001.txt 
# grep HOST answerfile001.txt 
CONFIG_CONTROLLER_HOST=10.0.0.10
CONFIG_COMPUTE_HOSTS=10.0.0.10
CONFIG_NETWORK_HOSTS=10.0.0.10
CONFIG_VCENTER_HOST=
CONFIG_STORAGE_HOST=10.0.0.10
CONFIG_SAHARA_HOST=10.0.0.10
CONFIG_AMQP_HOST=10.0.0.10
CONFIG_MARIADB_HOST=10.0.0.10
CONFIG_CINDER_NETAPP_HOSTNAME=

ปรับแต่งค่าใน answerfile001.txt

CONFIG_KEYSTONE_ADMIN_PW=password
CONFIG_LBAAS_INSTALL=y
CONFIG_NEUTRON_METERING_AGENT_INSTALL=y
CONFIG_NEUTRON_FWAAS=y

CONFIG_NEUTRON_ML2_TYPE_DRIVERS=vlan,vxlan,gre,flat,local
CONFIG_NEUTRON_ML2_TENANT_NETWORK_TYPES=local,vlan,gre,vxlan
CONFIG_NEUTRON_ML2_VLAN_RANGES=physnet2:1:1000

CONFIG_NEUTRON_OVS_BRIDGE_MAPPINGS=physnet2:br-eth2
CONFIG_NEUTRON_OVS_BRIDGE_IFACES=br-ex:eth0,br-eth2:eth2
CONFIG_HEAT_INSTALL=y

CONFIG_HEAT_CFN_INSTALL=y
CONFIG_TROVE_INSTALL=y
CONFIG_HORIZON_SSL=y
CONFIG_PROVISION_DEMO=n

แก้ไขด้วย crudini

# yum install crudini rubygems -y
# answerfile=answerfile001.txt

# crudini --set $answerfile general CONFIG_KEYSTONE_ADMIN_PW password
# crudini --set $answerfile general CONFIG_LBAAS_INSTALL y
# crudini --set $answerfile general CONFIG_NEUTRON_METERING_AGENT_INSTALL y
# crudini --set $answerfile general CONFIG_NEUTRON_FWAAS y

# crudini --set $answerfile general CONFIG_NEUTRON_ML2_TYPE_DRIVERS vlan,vxlan,gre,flat,local
# crudini --set $answerfile general CONFIG_NEUTRON_ML2_TENANT_NETWORK_TYPES local,vlan,gre,vxlan

# crudini --set $answerfile general CONFIG_NEUTRON_ML2_VLAN_RANGES physnet2:1:1000

# crudini --set $answerfile general CONFIG_NEUTRON_OVS_BRIDGE_MAPPINGS ext-net:br-ex,physnet2:br-eth2
# crudini --set $answerfile general CONFIG_NEUTRON_OVS_BRIDGE_IFACES br-ex:eth0,br-eth2:eth2

# crudini --set $answerfile general CONFIG_HEAT_INSTALL y
# crudini --set $answerfile general CONFIG_TROVE_INSTALL y

# crudini --set $answerfile general CONFIG_HEAT_CFN_INSTALL y
# crudini --set $answerfile general CONFIG_HORIZON_SSL y
# crudini --set $answerfile general CONFIG_PROVISION_DEMO n
# crudini --set $answerfile general CONFIG_CINDER_VOLUMES_CREATE n

# packstack --answer-file answerfile001.txt

Welcome to the Packstack setup utility

The installation log file is available at: /var/tmp/packstack/20160823-023836-_wAfqR/openstack-setup.log

Installing:
Clean Up                                             [ DONE ]
Discovering ip protocol version                      [ DONE ]
Setting up ssh keys                                  [ DONE ]
Preparing servers                                    [ DONE ]
Pre installing Puppet and discovering hosts' details [ DONE ]
Adding pre install manifest entries                  [ DONE ]
Setting up CACERT                                    [ DONE ]
Adding AMQP manifest entries                         [ DONE ]
Adding MariaDB manifest entries                      [ DONE ]
Adding Apache manifest entries                       [ DONE ]
Fixing Keystone LDAP config parameters to be undef if empty[ DONE ]
Adding Keystone manifest entries                     [ DONE ]
Adding Glance Keystone manifest entries              [ DONE ]
Adding Glance manifest entries                       [ DONE ]
Adding Cinder Keystone manifest entries              [ DONE ]
Checking if the Cinder server has a cinder-volumes vg[ DONE ]
Adding Cinder manifest entries                       [ DONE ]
Adding Nova API manifest entries                     [ DONE ]
Adding Nova Keystone manifest entries                [ DONE ]
Adding Nova Cert manifest entries                    [ DONE ]
Adding Nova Conductor manifest entries               [ DONE ]
Creating ssh keys for Nova migration                 [ DONE ]
Gathering ssh host keys for Nova migration           [ DONE ]
Adding Nova Compute manifest entries                 [ DONE ]
Adding Nova Scheduler manifest entries               [ DONE ]
Adding Nova VNC Proxy manifest entries               [ DONE ]
Adding OpenStack Network-related Nova manifest entries[ DONE ]
Adding Nova Common manifest entries                  [ DONE ]
Adding Neutron VPNaaS Agent manifest entries         [ DONE ]
Adding Neutron FWaaS Agent manifest entries          [ DONE ]
Adding Neutron LBaaS Agent manifest entries          [ DONE ]
Adding Neutron API manifest entries                  [ DONE ]
Adding Neutron Keystone manifest entries             [ DONE ]
Adding Neutron L3 manifest entries                   [ DONE ]
Adding Neutron L2 Agent manifest entries             [ DONE ]
Adding Neutron DHCP Agent manifest entries           [ DONE ]
Adding Neutron Metering Agent manifest entries       [ DONE ]
Adding Neutron Metadata Agent manifest entries       [ DONE ]
Adding Neutron SR-IOV Switch Agent manifest entries  [ DONE ]
Checking if NetworkManager is enabled and running    [ DONE ]
Adding OpenStack Client manifest entries             [ DONE ]
Adding Horizon manifest entries                      [ DONE ]
Adding Swift Keystone manifest entries               [ DONE ]
Adding Swift builder manifest entries                [ DONE ]
Adding Swift proxy manifest entries                  [ DONE ]
Adding Swift storage manifest entries                [ DONE ]
Adding Swift common manifest entries                 [ DONE ]
Adding Heat manifest entries                         [ DONE ]
Adding Heat CloudFormation API manifest entries      [ DONE ]
Adding Gnocchi manifest entries                      [ DONE ]
Adding Gnocchi Keystone manifest entries             [ DONE ]
Adding MongoDB manifest entries                      [ DONE ]
Adding Redis manifest entries                        [ DONE ]
Adding Ceilometer manifest entries                   [ DONE ]
Adding Ceilometer Keystone manifest entries          [ DONE ]
Adding Aodh manifest entries                         [ DONE ]
Adding Aodh Keystone manifest entries                [ DONE ]
Adding Trove Keystone manifest entries               [ DONE ]
Adding Trove manifest entries                        [ DONE ]
Adding Nagios server manifest entries                [ DONE ]
Adding Nagios host manifest entries                  [ DONE ]
Copying Puppet modules and manifests                 [ DONE ]
Applying 10.0.0.10_prescript.pp
....
10.0.0.10_nagios.pp:                                 [ DONE ]       
10.0.0.10_nagios_nrpe.pp:                            [ DONE ]       
Applying Puppet manifests                            [ DONE ]
Finalizing                                           [ DONE ]

 **** Installation completed successfully ******

Additional information:
 * Time synchronization installation was skipped. Please note that unsynchronized time on server instances might be problem for some OpenStack components.
 * File /root/keystonerc_admin has been created on OpenStack client host 10.0.0.10. To use the command line tools you need to source the file.
 * NOTE : A certificate was generated to be used for ssl, You should change the ssl certificate configured in /etc/httpd/conf.d/ssl.conf on 10.0.0.10 to use a CA signed cert.
 * To access the OpenStack Dashboard browse to https://10.0.0.10/dashboard .
Please, find your login credentials stored in the keystonerc_admin in your home directory.
 * To use Nagios, browse to http://10.0.0.10/nagios username: nagiosadmin, password: 292931d483bb4c13
 * The installation log file is available at: /var/tmp/packstack/20160823-024129-glQQuf/openstack-setup.log
 * The generated manifests are available at: /var/tmp/packstack/20160823-024129-glQQuf/manifests

เปิด browser https://10.0.0.10/dashboard
ssl accept
Selection_729

login ด้วย admin/password
login

Selection_731

Openvswitch Network
ทดสอบ ดูว่า Openvswitch สร้าง bridge อะไรให้กับระบบบ้าง

# ovs-vsctl show
c319424e-43f2-4440-ba92-0f57b4ec3bf3
    Bridge "br-eth2"
        Port "br-eth2"
            Interface "br-eth2"
                type: internal
        Port "phy-br-eth2"
            Interface "phy-br-eth2"
                type: patch
                options: {peer="int-br-eth2"}
        Port "eth2"
            Interface "eth2"
    Bridge br-ex
        Port phy-br-ex
            Interface phy-br-ex
                type: patch
                options: {peer=int-br-ex}
        Port "eth0"
            Interface "eth0"
        Port br-ex
            Interface br-ex
                type: internal
    Bridge br-int
        fail_mode: secure
        Port int-br-ex
            Interface int-br-ex
                type: patch
                options: {peer=phy-br-ex}
        Port "int-br-eth2"
            Interface "int-br-eth2"
                type: patch
                options: {peer="phy-br-eth2"}
        Port br-int
            Interface br-int
                type: internal
        Port patch-tun
            Interface patch-tun
                type: patch
                options: {peer=patch-int}
    Bridge br-tun
        fail_mode: secure
        Port patch-int
            Interface patch-int
                type: patch
                options: {peer=patch-tun}
        Port br-tun
            Interface br-tun
                type: internal
    ovs_version: "2.5.0"

ภาพแสดงการเชื่อมต่อภายใน จาก instance vm ออก internet ต้องผ่าน อุปกรณ์ ที่เป็น virtual network device ต่างๆ จำนวน 9 อุปกรณ์ ดังรูป
ovs-network
การเชื่อมต่อ ระหว่าง br-ex และ eth0
การเชื่อมต่อ ระหว่าง eth0 และ br-ex เพื่อให้ openstack สามารถเชื่อม provider network และ network ภายนอก

# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 
NAME=eth0
DEVICETYPE=ovs
TYPE=OVSPort
OVS_BRIDGE=br-ex
ONBOOT=yes
BOOTPROTO=none

# cat /etc/sysconfig/network-scripts/ifcfg-eth1
NM_CONTROLLED=no
BOOTPROTO=none
ONBOOT=yes
IPADDR=10.0.0.10
NETMASK=255.255.255.0
DEVICE=eth1
HWADDR=52:54:00:7b:64:20
PEERDNS=no


Ansible Configuration Management

มาเรียนรู้การใช้งาน Ansible
Ansible คือ เครื่องมือที่ใช้สำหรับการจัดการ configuration โดยจะทำงานผ่านทาง ssh พัฒนาด้วย ภาษา python การทำงานจะงานในรูปแบบที่ต้องมี management node ที่ทำหน้าเป็น server หลังที่จะทำหน้าเป็น ผู้ที่จะต้องไปติดตั้ง package บน เครื่องserverในระบบ การทำงานจะประกอบด้วยfile ที่เกี่ยวข้อง 2 file คือ inventory file และ playbook

  1. inventory file ทำหน้าเก่็บรายชื่อของ server หรือ ip ของ server ที่จะใช้สำหรับเป้าหมายสำหรับการติดตั้ง โดยdefault หาไม่มีการกำหนด ใน option -i ก็จะใช้ inventory ตือ /etc/ansible/hosts เราสามารถที่จะแก้ไขค่านี้ได้โดยทำการแก้ไข file /etc/ansible/ansible.cfg
  2. playbook.yml ไฟล์นี้จะเป็นตัวระบุว่า จะให้ ansible ทำอะไรบ้างในแต่ละ server การเขียนไฟล์จะใช้เป็น format ของ yaml format โดยสามารถเขียนแบบที่เป็น static และ dynamic ก็ได้โดยถ้าหาเขียนแบบ dynamic โดยใช้ jinja2 template
    ในการทดสอบการใช้งาน จะทดสอบการใช้งานผ่านทาง Vagrantfile โดยจะเป็นการสร้าง infrastructure ด้วย Vagrantfile ดังนี้ โดยสร้างบน provider virtualbox

Screen Shot 2559-08-22 at 6.25.57 PM

Vagrantfile

# Defines our Vagrant environment
#
# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.configure("2") do |config|

  # create mgmt node
  config.vm.define :mgmt do |mgmt_config|
      mgmt_config.vm.box = "centos/7"
      mgmt_config.vm.hostname = "mgmt"
      mgmt_config.vm.network :private_network, ip: "10.0.15.10"
      mgmt_config.vm.provider "virtualbox" do |vb|
        vb.memory = "256"
      end
      mgmt_config.vm.provision :shell, path: "bootstrap-mgmt.sh"
  end

  # create load balancer
  config.vm.define :lb do |lb_config|
      lb_config.vm.box = "centos/7"
      lb_config.vm.hostname = "lb"
      lb_config.vm.network :private_network, ip: "10.0.15.11"
      lb_config.vm.network "forwarded_port", guest: 80, host: 8080
      lb_config.vm.provider "virtualbox" do |vb|
        vb.memory = "256"
      end
  end

  # create some web servers
  # https://docs.vagrantup.com/v2/vagrantfile/tips.html
  (1..2).each do |i|
    config.vm.define "web#{i}" do |node|
        node.vm.box = "centos/7"
        node.vm.hostname = "web#{i}"
        node.vm.network :private_network, ip: "10.0.15.2#{i}"
        node.vm.network "forwarded_port", guest: 80, host: "808#{i}"
        node.vm.provider "virtualbox" do |vb|
          vb.memory = "256"
        end
    end
  end
end

bootstrap-mgmt.sh

#!/bin/bash
yum -y update
yum -y install epel-release
yum -y install ansible
yum -y install git

cat << EOF >> /etc/hosts
10.0.15.10  mgmt
10.0.15.11  lb
10.0.15.21  web1
10.0.15.22  web2
10.0.15.23  web3
10.0.15.24  web4
10.0.15.25  web5
10.0.15.26  web6
10.0.15.27  web7
10.0.15.28  web8
10.0.15.29  web9
EOF

inventory.ini

[lb]
lb

[web]
web1
web2

โดยให้สร้าง bootstrap-mgmt.sh และ inventory.ini ไว้ระดับเดียวกับ Vagrantfile

$ tree .
.
├── Vagrantfile
└── bootstrap-mgmt.sh
└── inventory.ini

ผลที่ได้ จะได้ infrastructure ดังนี้
Screen Shot 2559-08-22 at 11.11.36 PM

$ vagrant up
$ vagrant up
Bringing machine 'mgmt' up with 'virtualbox' provider...
Bringing machine 'lb' up with 'virtualbox' provider...
Bringing machine 'web1' up with 'virtualbox' provider...
Bringing machine 'web2' up with 'virtualbox' provider...
==&gt; mgmt: Checking if box 'centos/7' is up to date...
==&gt; mgmt: Clearing any previously set forwarded ports...
==&gt; mgmt: Clearing any previously set network interfaces...
==&gt; mgmt: Preparing network interfaces based on configuration...
...
==&gt; web2: Setting hostname...
==&gt; web2: Configuring and enabling network interfaces...
==&gt; web2: Rsyncing folder: /Users/newton/Vagrant/c7_ansible/ =&gt; /vagrant
==&gt; web2: Machine already provisioned. Run <code>vagrant provision</code> or use the <code>--provision</code>
==&gt; web2: flag to force provisioning. Provisioners marked to run always will still run.

$ vagrant status
Current machine states:

mgmt                      running (virtualbox)
lb                        running (virtualbox)
web1                      running (virtualbox)
web2                      running (virtualbox)   

## ตรวจสอบ ip
$ vagrant ssh mgmt -c &quot;ip a&quot;
$ vagrant ssh lb -c &quot;ip a&quot;
$ vagrant ssh web1 -c &quot;ip a&quot;
$ vagrant ssh web2 -c &quot;ip a&quot;

หมายเหตุ ถ้าไม่ได้ ip ให้ลองไปปรับ ค่าของ network adapter โดยไปยัง setting > Network ดังนี้
Adapter Type: Tserver(82543GC)
Promiscuous Mode: Allow All

Screen Shot 2559-08-22 at 11.30.07 PM
การเชื่อมต่อไปยัง vagrant

## connect to vagrant on node mgmt
$ vagrant ssh mgmt 

$ cat /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)

$ hosts="lb web1 web2"
$ for h in $hosts;do ping -c 4 $h; done

$ ansible --version
ansible 2.1.1.0
  config file = /etc/ansible/ansible.cfg
  configured module search path = Default w/o overrides               

การเชื่อมต่อ ระหว่างโหนดด้วย ssh

เนื่องจาก Ansible จะเชื่อมต่อไปยังเครื่อง remote ด้วย ssh โดยที่การเชื่อมต่อไม่มีprograme ที่ไปทำงานอยู่บน เครื่อง remote หรือที่มีจะเรียกว่า agent
เมื่อทำการเชื่อมต่อไปยัง เครื่องปลายทางครั้งแรกด้วย ssh เครื่องปลายทางจะทำการส่ง key มาให้กับเราเพื่อทำ ssh authentication เพื่อยอมรับการเชื่อมต่อ ยกตัวอย่างเช่นเมื่อ mgmt node ต้องการ ssh ไปยัง web1 ในครั้งแรก

$ ssh web1
The authenticity of host 'web1 (10.0.15.21)' can't be established.
ECDSA key fingerprint is d1:2d:26:9d:9b:92:e9:0c:02:53:59:8b:b9:6a:c7:8f.
Are you sure you want to continue connecting (yes/no)?  no

## go to /vagrant
$ cd /vagrant
$ ls

$ ansible web1 -i inititial.ini -m ping
The authenticity of host 'web1 (10.0.15.21)' can't be established.
ECDSA key fingerprint is d1:2d:26:9d:9b:92:e9:0c:02:53:59:8b:b9:6a:c7:8f.
Are you sure you want to continue connecting (yes/no)? yes
web1 | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true
}
 

เมื่อทำการยืนยันด้วยการตอบ yes ค่า publickey ของ web1 จะมาเก็บไว้ในfile ~/.ssh/known_hosts

$ cat ~/.ssh/known_hosts
web1,10.0.15.21 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBLK8riXRk1/Gyzggg6u+R41F+CBR1ZB7j3dOgBPqOn2H6jGfi0CC5W934OM6OQzKboXTZkny2Q2hrRopCQvJGCg=

เราสามารถเรียกดู public key ได้ใช้คำสั่ง ssh-keyscan

$ ssh-keyscan web1
# web1 SSH-2.0-OpenSSH_6.6.1
web1 ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDxFTURY5TNjR2YliYth1qf2JL++rhuDu8bAdX3cJ/uMmheUEk2Ay3a5n3Fwc64jOTIoFWfIRlKNjogdtAU0xNEb+ksLGDXoNZATM9i08AT/RsenZ1RMDt/R9AA+Q6cptw9TzM/MQLBzGKqannZnHqF7iYc6BXnmzly3lO9t10mc4CV7K0xm3sZT17cOuxUHIc+/Jh63JJJpd2MEXB933zjJFHLdlD/GDIlmOy+HZEjLs6VETwL1UDryvIXqQFa0al7gylS6phWiHa807rRV+luKQM662RP8X7EcAI0bSHxYkRopqL8EVXgWwYOkHOTk21EhDRDb52goLjdE5OmPDz9
# web1 SSH-2.0-OpenSSH_6.6.1
web1 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBLK8riXRk1/Gyzggg6u+R41F+CBR1ZB7j3dOgBPqOn2H6jGfi0CC5W934OM6OQzKboXTZkny2Q2hrRopCQvJGCg=

อ่านค่า key มาเก็บไว้ใน ~/.ssh/known_hosts

$ ssh-keyscan lb web1 web2 >> ~/.ssh/known_hosts
# web1 SSH-2.0-OpenSSH_6.6.1
# lb SSH-2.0-OpenSSH_6.6.1
# lb SSH-2.0-OpenSSH_6.6.1
# web1 SSH-2.0-OpenSSH_6.6.1
# web2 SSH-2.0-OpenSSH_6.6.1
# web2 SSH-2.0-OpenSSH_6.6.1

เมื่อใช้คำสั่ง ansible ก็จะไม่ถามให้ยอมรับ keyอีก

$ ansible lb  -i inititial.ini -m ping
lb | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true 

$ ansible web1 -i inititial.ini -m ping
web1 | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true
}

$ ansible web2 -i inititial.ini -m ping
web2 | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true
}

Ansible Ad-hoc
การใช้คำสั่ง ansible ที่ผ่านมา เรียกว่าเป็นการสั่งแบบ ad-hoc เหมือนกับเราสั่งด้วยทีละคำสั่งเหมือนกับการสั่งใน commandline แต่เป็นการสั่งผ่าน ansible เท่านั้น ที่ผ่านมาจะเห็นว่า ansible บอกว่ายังไม่สามารถเชื่อมต่อผ่าน ssh ได้
-m เป็นการบอกว่า จะให้ module ใดทำงาน เช่น -m ping คือ ต้องการที่ใช้ module ping โดยที่ module ที่พูดถึงคือ python module นั้นเอง ความสามารถของ ansible สามารถขยายความสามารถได้ด้วย module และ module จะแบ่งออกเป็น 2 ส่วนได้แก่ core และ extra ซึ่งมีมากกว่า 250 module
Screen Shot 2559-08-23 at 12.20.33 AM

## work on current user = vagrant
$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/vagrant/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/vagrant/.ssh/id_rsa.
Your public key has been saved in /home/vagrant/.ssh/id_rsa.pub.
The key fingerprint is:
bd:e8:d3:1b:06:53:7b:b2:16:2d:5f:55:30:58:56:65 vagrant@mgmt
The key's randomart image is:
+--[ RSA 2048]----+
|             o=oE|
|            .. o.|
|          .     .|
|         o o   . |
|        S * o .  |
|         + O .   |
|        ..* .    |
|       ..o..     |
|        ....     |
+-----------------+
## run ad-hoc ansible
$ cd /vagrant
$ ansible all -i inititial.ini -m ping --ask-pass
SSH password:
lb | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true
}
web2 | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true
}
web1 | UNREACHABLE! => {
    "changed": false,
    "msg": "Failed to connect to the host via ssh.",
    "unreachable": true
}

หากเกิด error
Fix error ssh fails with error as permission denied

## try ssh to localhost on mgmt
$ ssh localhost
Permission denied (publickey,gssapi-keyex,gssapi-with-mic)
$ ssh lb
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
$ ssh web1
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
$ ssh web2
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

สำหรับการติดตั้ง Centos 7 ด้วย vagrant default ไม่อนุญาติให้ใช้ password สำหรับการ login ด้วย password

 
## check /etc/ssh/sshd_config , 
PasswordAuthentication  no

ให้เปลี่ยนค่า config ใน ทุก node mgmt, lb, web1, web2

$ sudo su -
# vi /etc/ssh/sshd_config
PasswordAuthentication  yes

# systemctl restart sshd

ทดสอบ vagrant ad-hoc อีกครั้ง

$ ansible all -i inititial.ini -m ping --ask-pass
SSH password:
web2 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}
lb | SUCCESS => {
    "changed": false,
    "ping": "pong"
}
web1 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}

หมายความว่า mgmt node สามารถติดต่อไปยัง เครื่อง อื่นได้ผ่านทาง ssh คราวนี้ให้ลองสั่งอีกครั้งโดยไม่มี –ask-pass จะเห็นว่าก็ยังคงทำงานได้อยู่ แต่คราวนี้ จะเร็วกว่าเดิม โดย ansible จะทำการ cache ไว้ใช้ชั่วคราวเท่านั้น

$ ps -x
11939 ?        Ss     0:00 ssh: /home/vagrant/.ansible/cp/ansible-ssh-web1-22-vagrant [mux]
11942 ?        Ss     0:00 ssh: /home/vagrant/.ansible/cp/ansible-ssh-lb-22-vagrant [mux]
11945 ?        Ss     0:00 ssh: /home/vagrant/.ansible/cp/ansible-ssh-web2-22-vagrant [mux]

## try again win no password 
$ ansible all -i inititial.ini -m ping
web1 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}
web2 | SUCCESS => {
    "changed": false,
    "ping": "pong"
}
lb | SUCCESS => {
    "changed": false,
    "ping": "pong"
}

ตัวอย่างของ การสั่ง adhoc ด้วย module shell
อ่านเพิ่มเติม http://docs.ansible.com/ansible/intro_adhoc.html

$ ansible all -m shell -a "uname -a" -i inititial.ini
web1 | SUCCESS | rc=0 >>
Linux web1 3.10.0-327.22.2.el7.x86_64 #1 SMP Thu Jun 23 17:05:11 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

web2 | SUCCESS | rc=0 >>
Linux web2 3.10.0-327.22.2.el7.x86_64 #1 SMP Thu Jun 23 17:05:11 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

lb | SUCCESS | rc=0 >>
Linux lb 3.10.0-327.22.2.el7.x86_64 #1 SMP Thu Jun 23 17:05:11 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

โดยคำสั่ง ที่ต้องการสั่งจะอยู่ใน option -a
Ansible playbook  link

นอกจากการสั่ง ให้ ansible ทำงานแบบ ad-hoc แล้ว ยังสามารถให้ทำงานผ่านทาง playbook โดยมีการเขียนในแบบ ภาษา yaml โดย ansible จะใช้ playbook เป็น configuration management ให้แก่ระบบ การประกาศค่าต่างๆ ใน playbook นั้นไม่ยากอ่านง่าย ดังตัวอย่าง
ssh-addkey.yml จะทำหน้าที่ copy key จาก mgmt ไปยังเครื่องอื่นๆ

---
- hosts: all
  sudo: yes
  gather_facts: no
  remote_user: vagrant

  tasks:
  - name: install ssh key
    authorized_key: user=vagrant
                    key="{{ lookup('file', '/home/vagrant/.ssh/id_rsa.pub') }}"
                    state=present

การใช้งาน playbook จะใช้คำสั่ง ansible-playbook ดังนี้

cd /vagrant
$ ansible-playbook ssh-addkey.yml -i inititial.ini --ask-pass
SSH password:
[DEPRECATION WARNING]: Instead of sudo/sudo_user, use become/become_user and make sure become_method is 'sudo'
(default).
This feature will be removed in a future release. Deprecation warnings can be disabled by setting
deprecation_warnings=False in ansible.cfg.

PLAY [all] *********************************************************************

TASK [install ssh key] *********************************************************
changed: [web2]
changed: [lb]
changed: [web1]

PLAY RECAP *********************************************************************
lb                         : ok=1    changed=1    unreachable=0    failed=0
web1                       : ok=1    changed=1    unreachable=0    failed=0
web2                       : ok=1    changed=1    unreachable=0    failed=0

ถึงขั้นตอนนี้ เราได้สร้าง ssh trust ระหว่าง node เรียบร้อย เราสามารถที่สั่ง run playbook ซ้ำๆ ได้ ansible มีความฉลาดพอ เพื่อดูว่ามีการเปลี่ยนแปลงของ config หรือไม่ หาไม่มีการเปลี่ยนแปลง ansible ก็จะไม่ดำเนินการใด เรียกได้ว่า ansible มีคุณสมบัติของ “idempotence”

$ ansible-playbook ssh-addkey.yml -i inititial.ini --ask-pass
SSH password:
[DEPRECATION WARNING]: Instead of sudo/sudo_user, use become/become_user and make sure become_method is 'sudo'
(default).
This feature will be removed in a future release. Deprecation warnings can be disabled by setting
deprecation_warnings=False in ansible.cfg.

PLAY [all] *********************************************************************

TASK [install ssh key] *********************************************************
ok: [web1]
ok: [web2]
ok: [lb]

PLAY RECAP *********************************************************************
lb                         : ok=1    changed=0    unreachable=0    failed=0
web1                       : ok=1    changed=0    unreachable=0    failed=0
web2                       : ok=1    changed=0    unreachable=0    failed=0

จะเห็นว่า change=0

---
- hosts: all
  sudo: yes
  gather_facts: no

  tasks:

  - name: install chrony
    yum: name=chrony state=installed update_cache=yes

  - name: write our chrony.conf
    copy: src=/vagrant/files/chrony.conf dest=/etc/chrony.conf mode=644 owner=root group=root
    notify: restart chrony

  - name: start chrony
    service: name=chronyd state=started

  handlers:

  - name: restart chrony
    service: name=chronyd state=restarted
$ ansible-playbook -i inititial.ini chrony-install.yml
[DEPRECATION WARNING]: Instead of sudo/sudo_user, use become/become_user and make sure become_method is 'sudo' (default).
This feature
will be removed in a future release. Deprecation warnings can be disabled by setting deprecation_warnings=False in ansible.cfg.

PLAY [all] *********************************************************************

TASK [install chrony] **********************************************************
ok: [web2]
ok: [web1]
ok: [lb]

TASK [write our chrony.conf] ***************************************************
ok: [web1]
ok: [lb]
ok: [web2]

TASK [start chrony] ************************************************************
ok: [web1]
ok: [web2]
ok: [lb]

PLAY RECAP *********************************************************************
lb                         : ok=3    changed=0    unreachable=0    failed=0
web1                       : ok=3    changed=0    unreachable=0    failed=0
web2                       : ok=3    changed=0    unreachable=0    failed=0

chrony-remove.yml

---
- hosts: all
  sudo: yes
  gather_facts: no

  tasks:

  - name: remove chrony
    yum: name=chrony state=absent 

run playbook: chrony-remove.yml

$ ansible-playbook -i inititial.ini chrony-remove.yml
[DEPRECATION WARNING]: Instead of sudo/sudo_user, use become/become_user and make sure become_method is 'sudo' (default).
This feature
will be removed in a future release. Deprecation warnings can be disabled by setting deprecation_warnings=False in ansible.cfg.

PLAY [all] *********************************************************************

TASK [remove chrony] ***********************************************************
changed: [web1]
changed: [lb]
changed: [web2]

PLAY RECAP *********************************************************************
lb                         : ok=1    changed=1    unreachable=0    failed=0
web1                       : ok=1    changed=1    unreachable=0    failed=0
web2                       : ok=1    changed=1    unreachable=0    failed=0