SAP S4/HANA 1809 Intra-Availability Zone HA Best Practice

SAP S/4HANA 1809 同可用区高可用部署最佳实践

概述
架构总览
资源规划
前期准备
HANA安装
配置高可用集群
S/4HANA 1809 安装
切换测试

版本管理

版本	修订日期	变更类型	生效日期
1.0			2019.05.07
1.1	2019.07.04	1.优化NAS参数	2019.07.04

概述

本文档描述了如何在阿里云同可用区环境中，基于SuSe HAE进行S/4 HANA ABAP PLATFORM 1809的高可用性安装部署。随着Netweaver 7.51之后standalone enqueue server 2(ENSA2)的启用，ENSA2已经是S/4 HANA ABAP PLATFORM 1809高可用部署的默认安装选项。本文档主旨描述了SAP S/4HANA 1809如何进行高可用部署，并不能完全取代SAP官方的安装配置文档以及具体的系统sizing，建议在部署之前阅读SAP官方的安装配置文档以及其中建议的SAP Notes。
1).在Old Standalone Enqueue Server（ENSA1)架构中central services instance(ASCS)遭遇故障后必须切换到激活且运行着的ERS(ASCS对端)的server中并重启，通过访问共享内存从而接管enqueue replication table中的锁。
2).在新的ENSA2架构中ASCS遭遇故障后不再限制必须切换到运行着ERS的对端server中，ASCS可以切换到单独的server中并重启，通过网络而不是共享内存从Enqueue Replicator 2中接管锁。
arch2
3).对于ENSA1的架构在pacemaker中支持两个节点的cluster，ASCS必须“跟随”ERS，阿里云提供了Master-Slave模式的最佳实践；对于ENSA2的新架构中在pacemaker中可以不仅支持两个节点的cluster同时也支持多节点的cluster。

本次部署依然采用两个节点的cluster作为最佳实践，只包括SAP S/4 HANA 1809 server的安装并未包括Fiori front-end server，同时本次部署并未安装SAP liveCache Intergration。

架构总览

本次部署的架构设计如下：
arch1

资源规划

网络规划

网络	位置	分配网段	交换机	VPC
业务网	华北2可用区G	10.0.10.0/24	SAP_Business_Vswitch	S4_1809_VPC
心跳网	华北2可用区G	10.0.20.0/24	SAP_Heartbeat_Vswitch	S4_1809_VPC

SAP及主机规划

SAP应用SID：S4T
SAP HANA SID：S4T
应用与HANA的SID也可使用不同的SID

主机名	IP 地址	类型	Instance number	备注
s4app1	10.0.10.10/10.0.20.10	PAS Instance	01	安装在本地
s4app2	10.0.10.11/10.0.20.11	AAS Instance	02	安装在本地
VASCSS4T	10.0.10.12	ASCS Instance	00	安装在虚拟主机名
VERSS4T	10.0.10.13	ERS Instance	10	安装在虚拟主机名
VDBS4T	10.0.10.9	DB Instance		安装在虚拟主机名
hana01	10.0.10.7/10.0.20.7	DB （Primary）	00	安装在本地
hana02	10.0.10.8/10.0.20.8	DB （Second）	00	安装在本地

用户及组规划

高可用集群中的两个节点中的SAP以及HANA用户和组ID要保持一致。
用户ID：sidadm统一设置为2000，sapadm统一为2001
组ID：sapsys统一设置为2000

SWAP规划

SAP应用及HANA的安装都需要创建SWAP空间，推荐在创建ECS实例的时候单独创建SSD云盘作为SWAP盘，关于SWAP空间的推荐请参见SAP Note：1597355 - Swap-space recommendation for Linux

Physical Memory (RAM)	Recommended Swap-Space
< 32 GByte	2 x RAM
32 - 63 GByte	64 GByte
64 - 127 GByte	96 GByte
128 - 255 GByte	128 GByte
256 - 511 GByte	160 GByte
512 - 1023 GByte	192 GByte
1024 - 2047 GByte	224 GByte
2048 - 4095 GByte	256 GByte
4096 - 8191 GByte	288 GByte
> 8192 GByte	320 GByte

文件系统规划

对于sap应用的global文件系统与trans主机推荐使用autofs的方式挂载。关于文件系统大小的sizing，请参照SAP官方安装配置文档或实施商的规划，本例仅供参考。

文件系统	类型	LV	VG
/usr/sap	xfs	usrsaplv	sapvg
/sapmnt	NAS
/usr/sap/trans	NAS
/hana/data	xfs	datalv	hanavg
/hana/log	xfs	loglv	hanavg
/hana/shared	xfs	sharedlv	hanavg

前期准备

阿里云账号

如果您还没有阿里云账号，您可以在阿里云官网或阿里云 App 上，使用手机号码注册阿里云账号和完成账号实名认证。并且，后续您还可以在阿里云 App 上，管理云资源、监控资源状态、进行身份验证、及上云栖社区咨询、了解云知识等。
具体如何开通，充值等操作请参考注册账号。

VPC

专有网络VPC（Virtual Private Cloud）是基于阿里云构建的一个隔离的网络环境，专有网络之间逻辑上彻底隔离。专有网络是您自己独有的的云上私有网络。您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等。具体详细信息和文档请参考产品文档.
按照规划创建VPC如下：
create VPC
按照规划创建业务网交换机
switch1
按照规划创建心跳网段
switch2

ECS实例

云服务器Elastic Compute Service（ECS）是阿里云提供的一种基础云计算服务您可以通过云服务器管理控制台或者阿里云 App 配置您的ECS资源。关于阿里云认证的Netweaver相关信息请参见sap note: 1380654 - SAP support in public cloud environments.
1.创建ECS实例
在控制台选择创建ECS实例，选择付费方式和可用区（本例华北2可用区G）
从镜像市场选择，使用“ SUSE Linux Enterprise Server for SAP Applications 12 SP3”镜像

根据规划选择创建磁盘的数量和大小（本例以数据盘300G，SWAP盘50G作为示意)，推荐系统盘使用高效云盘或SSD云盘，数据盘使用ESSD云盘或SSD云盘，推荐单独创建SSD或ESSD云盘作为SWAP盘，关于云盘的相关产品文档和性能请参见块存储性能。
disk
选择专有网络和安全组，需要填写之前创建或者已有的VPC和安全组信息（本例以hanasg安全组示意），关于安全组的设置和信息请参考安全组使用FAQ
network_sg
根据规划和需求选择RAM role（可选），关于RAM的相关信息请参考RAM简介
检查所有的选项后创建ECS实例，根据本次部署的规划需要在华北2可用区G创建4台ECS实例，创建完成后根据规划通过修改信息选项来修改主机名或私有IP地址。
2.配置弹性网卡
需要为高可用集群的每个ECS都创建弹性网卡，来设置心跳网络。因此本例中需要创建4个弹性网卡。
eni1
绑定弹性网卡至ECS实例，需要为高可用集群的每个ECS都绑定弹性网卡。
eni2

ECS Metrics Collector的安装

ECS Metrics Collector监控代理程序，用于云平台上SAP系统收集需要的虚拟机配置信息和底层物理资源使用相关的信息。
当SAP系统运行在弹性计算服务器ECS上时，SAP Host Agent通过metadata服务和openAPI获取需要的信息，用于收集SAP系统监控所需信息（包括操作系统、网络、存储方面以及SAP架构方面等），并将其提供给SAP应用程序，用于事物分析和系统性能分析。
对于运行SAP系统的每个ECS实例（包括数据库和应用），都需要安装Metrics Collector for SAP监控代理程序。关于ECS Metrics Collector的部署请参考 ECS Metrics Collector的部署指南

共享块存储

ECS共享块存储是一种支持多台ECS实例并发读写访问的数据块级存储设备，具备多并发、高性能、高可靠等特性，单块共享块存储最多支持同时挂载到16台ECS实例挂载共享块存储的操作，请参考视频挂载共享块存储到多台ECS实例。本次部署使用共享块存储作为高可用集群的STNOITH设备。选择与ECS同一区域和可用区,并挂载在高可用集群中的ECS实例中。
1.创建共享块存储
作为STONITH设备选择最小20G容量SSD类型。
sbd
创建成功后显示如下：
sbd2
2.挂载共享块存储
分别挂载高可用集群中的两个ECS实例。
sbd3

高可用虚拟IP

私网高可用虚拟IP（Private High-Availability Virtual IP Address，简称HAVip），是一种可以独立创建和释放的私网IP资源。这种私网IP的特殊之处在于，用户可以在ECS上使用ARP协议进行该IP的宣告。本次部署使用高可用虚拟IP作为集群中的虚拟IP挂载在集群中的每一个节点。
1.创建高可用虚拟IP（HAVIP)
本例以创建ASCS instance所在的高可用虚拟IP为例 havip1
高可用虚拟IP作为ASCS instance安装的对应虚拟IP，选择创建在业务网段。（同理创建ERS instance的高可用虚拟IP)
havip2
2.绑定高可用虚拟IP
点击绑定高可用集群的ECS实例，确保绑定了集群中的每一个ECS实例。
havip3
3.配置临时高可用虚拟IP
登陆第一个节点，将申请的ASCS以及ERS instance的高可用虚拟IP临时配置到additional addresses中以保证安装时高可用虚拟IP的联通。
#yast2 network
bind1
bind2
bind3
同理配置ERS的高可用虚拟IP
bind4 检测ASCS的高可用虚拟IP是否联通
ping1
检测ERS的高可用虚拟IP是否联通
ping2

文件存储NAS

阿里云文件存储（Network Attached Storage，简称 NAS）是面向阿里云 ECS 实例、E-HPC 和 Docker 等计算节点的文件存储服务，提供标准的文件访问协议，用户无需对现有应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。阿里云上部署SAP应用推荐Global主机与trans主机的文件系统采用文件存储NAS。
1.创建NAS
选择地域和类型。本次部署采用容量型，关于NAS的性能请参考存储类型介绍。
nas_new
点击添加挂载点,选择之前创建的VPC和业务网段交换机。
nas2
点击系统ID/名称进入后，可以看到NAS的地址如下：
nas2
2.记录NAS地址
根据规划为/sapmnt与/usr/sap/trans创建2个NAS文件存储，地址分别为：
114a34ad6d-avf43.cn-beijing.nas.aliyuncs.com
1610a48dd1-sgw90.cn-beijing.nas.aliyuncs.com

HANA安装

本例主旨描述S/4 HANA 1809应用的高可用性安装部署，关于HANA的安装、system replication配置、HA的配置过程请参见《SAP HANA同zone高可用安装部署》。如果您的HANA HA配置采用跨zone方式，请参见《SAP HANA HA Cross-Zone with SLES HAE》。

配置高可用集群

维护主机名

SAP与HANA所有节点维护主机名
按照规划维护/etc/hosts文件添加如下信息：

###S4 1809 application business###
10.0.10.10     s4app1  s4app1.alibaba.com
10.0.10.11     s4app2  s4app2.alibaba.com
10.0.10.12      VASCSS4T        VASCSS4T.alibaba.com
10.0.10.13      VERSS4T         VERSS4T.alibaba.com
###S4 1809 application heatbeat###
10.0.20.10     s4app1-ha
10.0.20.11     s4app2-ha
###S4 1809 HANA datebase####
10.0.10.7     hana01        hana01.alibaba.com
10.0.10.8     hana02        hana02.alibaba.com
10.0.10.9      VDBS4T  VDBS4T.alibaba.com
###S4 1809 HANA datebase heartbeat####
10.0.20.7     hana01-ha        
10.0.20.8     hana02-ha

创建文件系统

/sapmnt与/usr/sap/trans文件系统采用NAS；/usr/sap文件系统为本地xfs类型文件系统
1./usr/sap文件系统：
1).首先检查磁盘
2).创建pv:
3).创建sapvg：
4).创建usrsaplv：
5).创建文件系统：
6).创建mount点并加入开机自动挂载：

#fdisk -l
#pvcreate /dev/vdb
#vgcreate sapvg /dev/vdb
#lvcreate -L 100G -n usrsaplv sapvg
#mkfs.xfs /dev/sapvg/usrsaplv
#mkdir -p /usr/sap

vi编辑 /etc/fstab文件添加如下：
/dev/sapvg/usrsaplv /usr/sap xfs defaults 0 0

#mount -a将所有的文件系统挂载
2.创建SWAP
1).检查SWAP盘
#fdisk -l
检查可以看出/dev/vdd为单独创建的SWAP盘
2).配置SWAP如下：

mkswap  /dev/vdc
swapon  /dev/vdc
swapon -s     #检查swap大小#

vi编辑/etc/fstab文件添加如下：
/dev/vdc swap swap defaults 0 0
3.Global文件系统与Trans主机文件系统
推荐/sapmnt与/usr/sap/trans均采用autofs,所以不需要创建目录
配置autofs如下：
1).编辑auto.master文件
#vim /etc/auto.master
添加/- /etc/auto.nfs
autofs
2).创建并编辑/etc/auto.nfs文件如下:
请替换为你的NAS地址

/sapmnt -vers=3,noacl,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport xxxxxxxx-beijing.nas.aliyuncs.com:/
/usr/sap/trans -vers=3,noacl,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport xxxxxxxx-beijing.nas.aliyuncs.com:/

3).启动autofs服务
#systemctl start autofs
4).添加到开机自启动
#systemctl enable autofs
此时cd到这2个文件系统进行访问即可看到文件系统挂载情况

准备OS以及安装包

如下的配置都需要在参与HA的双机中配置和添加，本例只描述在其中一个节点的操作。
1.安装HA配置以及优化所需的包
安装sbd/crosync/pacemaker/sap_cluster_connector/saptune/resource-agents包
#zypper install -y sbd corosync pacemaker sap-suse-cluster-connector saptune resource-agents
通过如下命令检查是否安装成功:
# for p in corosync pacemaker sap-suse-cluster-connector saptune resource-agents;do rpm -qv $p && echo installed;done
本例使用的是Suse 12.3的镜像，根据SAP Note 2641019 - Installation of ENSA2 and update from ENSA1 to ENSA2 in SUSE HA environment以及Suse官方Guide需要特别注意的是确保sap-suse-cluster-connector版本在3.1.0之上，resource-agents版本在resource-agents-4.0.1-2.18.1之上。
zypper1
2.安装HA pattern
#zypper in -t pattern ha_sles
3.检查ntp服务
#ntpq -p
使用阿里云提供的ECS服务器自动开启NTP服务,如果时区设置不是“Asia/Shanghai”，请参考修改 ECS Linux 实例时区与设置 NTP 服务来确保所有的机器开启NTP服务并在相同的时区。
4.安装saptune
saptune是SLES12 SP2之后进化升级版的sapconf工具,用来帮助您调优OS与DB的参数，从而使您的Netweaver或HANA更优化的运行。
使用语法如下：
SAP Note

Tune system according to SAP and SUSE notes:
  saptune note [ list | verify ]
  saptune note [ apply | simulate | verify | customise | revert ] NoteID

SAP Solution

Tune system for all notes applicable to your SAP solution:
  saptune solution [ list | verify ]
  saptune solution [ apply | simulate | verify | revert ] SolutionName

由于本例安装NETWEAVER所以安装结果如下：
saptune_note

saptune_solution

激活daemon进程
#saptune daemon start
#systemctl enable tuned
关于saptune更多信息请参考《Prepare your Linux for your SAP solution with saptune》或SLES官方文档。

配置STONITH设备

在阿里云上您可以使用共享块存储作为STONITH设备，配置SBD的具体过程如下：
1.检查SBD设备
#fdisk -l
两个节点检查20G的共享块存储作为STONITH设备

2.两个节点创建SBD
1).初始化SBD
#sbd -d /dev/vdd create
2).写入dump信息
#sbd -d /dev/vdd dump
3.配置softdog watchdog
在HA的两个节点中vim编辑文件/etc/init.d/boot.local并添加如下内容：
modprobe softdog
watchdog1
运行命令:
#modprobe softdog
检查载入的模块:
#lsmod | egrep "(wd|dog)"
checkwatchdog
4.配置sysconfig文件
修改两个节点的/etc/sysconfig/sbd文件中的参数如下：

SBD_DEVICE="/dev/vdd"
SBD_WATCHDOG="yes"
SBD_STARTMODE="clean"
SBD_OPTS=""

关于sbd的参数和用法可通过#sbd -d <SBD Device Name>来查看具体参数含义
5.验证SBD
两个节点分别检查SBD状态
#sbd -d /dev/vdd list
此时需要确保两个节点的状态都是clear如下：

也可以在第一节点发送message到第二节点
#sbd -d <SBD Device Name> message <node2> <message>
在第二节点测试是否接收到消息
#sbd -d <SBD Device Name> list
重置sbd状态为clear
#sbd -d <SBD Device Name> message <node2> clear

配置集群

1.配置corosync
1).启动cluster图形界面
在第一个节点启动yast2，选择cluster
cluster
2).配置Communication Channels:
选择transport方式为Unicast
输入Channel的bind地址：10.0.20.0(心跳IP网段）
输入Redundant channel的bind地址：10.0.10.0（业务IP网段）
添加HA的两个节点的心跳IP地址和业务IP（冗余），输入Expected votes投票数为2（节点数量）
corosync1
3).配置Security：
点击生成authkey文件
corosync4
3).配置csysnc2(可选不配置)：
csysnc2是一个同步复制的工具，用来复制配置文件到cluster中的各个节点
添加主机，然后选择add Suggested files
点击Turn csync2 ON
点击Generate Pre-shared-Keys
拷贝生成的/etc/csync2/key_hagroup文件到第二节点对应的目录
corosync5
4).配置service：
选择开机启动后是否自动启动pacemaker，默认是关闭状态，本例选择手动控制，选择关闭
corosync6
5).拷贝文件：
将第一节点的/etc/corosync目录下corosync配置文件和authkey文件拷贝至第二节点对应目录:
#scp -pr corosync.conf authkey root@s4app2:/etc/corosync
2.启动pacemaker
两个节点分别启动pacemaker
#systemctl start pacemaker
检查并确保两个节点处于online状态
#crm_mon status
corosync2

S/4HANA 1809 安装

安装ASCS Instance

登陆第一个节点启动SWPM安装，选择安装ASCS到虚拟主机名VASCSS4T
# ./sapinst SAPINST_USE_HOSTNAME=VASCSS4T
windows跳转机浏览器中输入访问地址:
https://VASCSS4T:4237/sapinst/docs/index.html
使用root用户以及密码登录（确保主机名解析和端口可访问）
ascs1
按照规划输入SID和sapmnt路径。
ascs2
设置FQDN。

设置密码。

按照规划输入用户ID和组ID。

输入kernel所在路径。

按照规划输入ASCS Instance number和虚拟主机名。

集成webdispather与gateway。

配置webdispather（后续可根据情况更改参数）。

安全原因SAP推荐将sidadm用户从sapinst组清除。

参数回顾，此时可返回修改之前定义的参数。

检查message server和enqueue server的进程

安装ERS Instance

在第一个节点再次启动SWPM安装，选择安装ERS到虚拟主机名VERS4T
# ./sapinst SAPINST_USE_HOSTNAME=VERSS4T
windows跳转机浏览器中输入访问地址:
https://VERSS4T:4237/sapinst/docs/index.html
使用root用户以及密码登录（确保主机名解析和端口可访问）
ers1
ers2
根据规划输入用户ID
ers3
ers4
根据规划输入ERS instance number以及虚拟主机名
ers5
根据规划输入用户ID
ers6
ers7
ers8
检查Enqueue replication server进程
ers9

备节点配置ASCS/ERS

1.创建用户和组
在第二节点使用SWPM创建相同的用户和组
创建sapadm用户
#./sapinst
user1
user2
创建sidadm用户
user3
输入SID，勾选ABAP stack。
user4
按照规划输入用户ID和组ID，保持与第一节点一致。
user5
2.拷贝文件
登陆第一个节点
1).拷贝/etc/中services文件到第二个节点
#scp -pr services root@s4app2:/etc/
2).拷贝/usr/sap中的sapservices文件到第二节点
#scp -pr sapservices root@s4app2:/usr/sap/
3).拷贝ASCS00,ERS10,SYS目录到第二节点
#cd /usr/sap/S4T
#tar -cvf ASCSERSSYS.tar *
登陆第二节点/usr/sap下创建权限相同的S4T目录,拷贝并解压
#scp –pr ASCSERSSYS.tar root@s4app2:/usr/sap/S4T
#tar –xvf ASCSERSSYS.tar
4).检查SYS中的soft link是否正确
softlink

安装DB Instance

登陆第一个节点，启动SWPM安装，选择安装DB instance到虚拟主机名VDBS4T
# ./sapinst SAPINST_USE_HOSTNAME=VDBS4T
windows跳转机浏览器中输入访问地址:
https://VDBS4T:4237/sapinst/docs/index.html
使用root用户以及密码登录（确保主机名解析和端口可访问)
db1
按照规划输入DB SID，Instance number，虚拟主机名。
db3
指定Export路径。
db5
输入密码。
db6
db6_2
db_final

集成SAP Instance

1.添加用户到haclint组
在两个节点都将sidadm用户添加到haclient组。
#usermod -a -G haclient s4tadm
2.修改ASCS参数文件
1).添加参数：配置与sap-suse-cluster-connector的集成
2).替换参数：通知SAP start framework在enqueue server的进程失败时不要重启。

####added for sap-suse-cluster-connector####
#-----------------------------------
#SUSE HAE sap_suse_cluster_connector
#-----------------------------------
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
####chanegd for not to self-restart the enqueue process####
# Start SAP enqueue server
_EN = en.sap$(SAPSYSTEMNAME)_$(INSTANCE_NAME)
Execute_04 = local rm -f $(_EN)
Execute_05 = local ln -s -f $(DIR_EXECUTABLE)/enserver$(FT_EXE) $(_EN)
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)
##################################

3.修改ERS参数文件
1).添加参数：配置与sap-suse-cluster-connector的集成
2).替换参数：通知SAP start framework在Enqueue replication server（Enqueue Replicator 2)的进程失败时不要重启。

####added for sap-suse-cluster-connector####
#-----------------------------------
#SUSE HAE sap_suse_cluster_connector
#-----------------------------------
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
###############################################################
#####changed by dongchen_201804###
#Restart_Program_00 = local $(_ENQR) pf=$(_PF) NR=$(SCSID)
Start_Program_00 = local $(_ENQR) pf=$(_PF) NR=$(SCSID)
##################################

配置resource Agent

1.crm配置
使用crm配置resource具体如下：
#crm configure load update HA_script.txt
HA_script.txt的内容如下：

#Cluster settings
property cib-bootstrap-options: \
        have-watchdog=true \
        cluster-infrastructure=corosync \
        cluster-name=hacluster \
        stonith-enabled=true \
        placement-strategy=balanced \
        maintenance-mode=false
rsc_defaults rsc-options: \
        resource-stickiness=1 \
        migration-threshold=3
op_defaults op-options: \
        timeout=600 \
        record-pending=true
#STONITH resource setting
primitive stonith-sbd stonith:external/sbd \
        params pcmk_delay_max=30s
#ASCS resource setting
primitive rsc_ip_S4T_ASCS00 IPaddr2 \
        params ip=10.0.10.12 \
        op monitor interval=10s timeout=20s
primitive rsc_sap_S4T_ASCS00 SAPInstance \
        operations $id=rsc_sap_S4T_ASCS00-operations \
        op monitor interval=11 timeout=60 on_fail=restart \
        params InstanceName=S4T_ASCS00_VASCSS4T START_PROFILE="/sapmnt/S4T/profile/S4T_ASCS00_VASCSS4T" AUTOMATIC_RECOVER=false \
        meta resource-stickiness=5000 target-role=Started
#ERS resource setting
primitive rsc_ip_S4T_ERS10 IPaddr2 \
        params ip=10.0.10.13 \
        op monitor interval=10s timeout=20s
primitive rsc_sap_S4T_ERS10 SAPInstance \
        operations $id=rsc_sap_S4T_ERS10-operations \
        op monitor interval=11 timeout=60 on_fail=restart \
        params InstanceName=S4T_ERS10_VERSS4T START_PROFILE="/sapmnt/S4T/profile/S4T_ERS10_VERSS4T" AUTOMATIC_RECOVER=false IS_ERS=true \
        meta target-role=Started maintenance=false
#Groups and colocations
group grp_S4T_ASCS00 rsc_ip_S4T_ASCS00 rsc_sap_S4T_ASCS00 \
        meta resource-stickiness=3000
group grp_S4T_ERS10 rsc_ip_S4T_ERS10 rsc_sap_S4T_ERS10 \
        meta target-role=Started
colocation col_sap_S4T_no_both -5000: grp_S4T_ERS10 grp_S4T_ASCS00
order ord_sap_S4T_first_start_ascs Optional: rsc_sap_S4T_ASCS00:start rsc_sap_S4T_ERS10:stop symmetrical=false

2.去掉临时HAVIP绑定
#yast2 network将之前临时绑定的ASCS和ERS的HAVIP绑定删除
remove-temp-havip
3.关于ASCS/ERS起停
启动ASCS/ERS instance

su - s4tadm
#启动ASCS
sapcontrol -nr 00 -function StartService S4T
sapcontrol -nr 00 -function Start
#启动ERS
sapcontrol -nr 10 -function StartService S4T
sapcontrol -nr 10 -function Start

停止ASCS/ERS instance

su - s4tadm
#停止ASCS
sapcontrol -nr 00 -function StopService S4T
sapcontrol -nr 00 -function Stop
#停止ERS
sapcontrol -nr 10 -function StopService S4T
sapcontrol -nr 10 -function Stop

4.HA集群检查
检查FailoverConfig
sapcontrol -nr 00 -function HAGetFailoverConfig
ha_check2
检查HACheckConfig
sapcontrol -nr 00 -function HACheckConfig
ha_check3
检查HACheckFailoverConfig
sapcontrol -nr 00 -function HACheckFailoverConfig
ha_check4
检查HA状态，确保所有的resource启动
#crm_mon -r
ha_check1

安装PAS Instance

PAS本身不参与HA的切换，安装在本地。
启动SWPM安装，选择安装PAS到本地
# ./sapinst
windows跳转机浏览器中输入访问地址:
https://s4app1:4237/sapinst/docs/index.html
使用root用户以及密码登录（确保主机名解析和端口可访问）
pas1
按照规划输入Instance number
pas3
不注册sld，后续可以注册
pas4
根据需求选择是否创建message server的ACL，本次部署不创建，后续可以创建
pas5

安装AAS在s4app2本地与安装PAS过程大致，过程略

配置hdbuserstore

PAS/AAS安装完成之后需要配置hdbuserstore以确保PAS与AAS连接的是HANA的高可用虚拟IP对应的虚拟主机名。

su - s4tadm
hdbuserstore set default VDBS4T:30015 SAPHANADB "pasword"
hdbuserstore list

hdbuser

切换测试

关于高可用环境维护指南请参考《SAP系统高可用环境维护指南》。
关于Suse HAE的日常管理任务及命令请参考Suse官方文档《Administration Guide》