阿里云一键部署 Docker Datacenter

简介: 使用ROS模板在阿里云上一键部署Docker Datacenter
ROS

DDC 简介

2016年2月下旬,Docker发布了企业级容器管理和服务部署的整体解决方案平台-Docker Datacenter,简称DDC。DDC 有三个组件构成:

  1. Docker Universal Control Plane(Docker UCP),这是套图形化管理界面;
  2. Docker Trusted Registry(DTR),授信的Docker镜像仓库;
  3. Docker Engine商业版,提供技术支持的Docker引擎。

DDC在Docker官网地址是:http://www.docker.com/products/docker-datacenter#

ddc_Enterprise_2_Arch_2_1

DDC 与Docker公司的另外一个在线产品 Docker Cloud 对应。不过DDC主要针对企业用户在内部部署。用户注册自己的Dokcer镜像到DTR,UCP管理整个Docker集群。并且这两个组件都提供了Web界面。

使用DDC需要购买Licence, 但是Docker公司提供了一个月的试用Licence,可以在Docker官网注册后直接下载。

DDC 一键部署

说了这么多,到底如何部署DDC的环境呢?有一个简单的方式,就是使用阿里云的ROS。通过下面的链接一键部署,就可以做到分分钟创建一套DDC。

一键部署>>>

点击一键部署后,默认会在华北2 region 部署 DDC。 如果你需要调整region,请点击页面右下角的【上一步】,然后重新选择region,接着点击【下一步】,你只需要填入如下图中必填的信息或者根据你的需求调整信息后,点击【创建】按钮就可以部署一套 DDC。

ddc_input_params

DDC 访问

当ROS创建DDC成功后,怎么登录UCP系统,可以进入ROS的栈管理页面,查看刚才创建的栈的概要信息,这里面输出了登录UCP和DTR的地址,如图:

ddc_output

在浏览器中输入红框中的地址就会显示UCP的访问页面,这时输入在安装UCP时创建的管理账号和密码就可以登录进去,接着会提示输入导入Licence文件,请把准备好的Licence导入,就可以进入UCP的控制界面了:

upc_portal

DDC 部署细节

接下来将主要介绍如何通过阿里云的ROS一键部署DDC环境。

ROS部署的DDC架构图

docker_ddc_arch

在上面的基础架构图里面,Controller主要运行UCP组件,DTR运行的就是DTR组件, Worker主要运行客户自己的Docker服务。整个DDC环境都部署在VPC网络之下,所有的ECS加入同一个安全组。每个组件都提供了一个SLB,供外网访问。而运维操作则是通过跳板机实现。另一方面为了提升可用性,整个DDC环境都是高可用部署,也就是说Controller至少有两台,同理DTR也至少有两台。

ROS部署细节介绍

下面详细介绍如何通过ROS模板创建阿里云资源并通过ROS的UserData功能部署DDC环境。

1. 基础资源和网络环境配置

按照上面的架构图,所有节点都在VPC网络中,所以首先使用ROS的[ALIYUN::ECS::Vpc], [ALIYUN::ECS::VSwitch]资源创建DDC的VPC网络。VPC网络和外网是相互隔离的,由于DDC环境的部署需要在线安装Docker Engine,UCP,DTR,所以我们需要配置VPC网络环境使内部节点能够访问外网,同时运维也能访问到VPC中节点。VPC网络的配置只需要用到[ALIYUN::ECS::NatGateWay], [ALIYUN::ECS::BandwidthPackage], ALIYUN::ECS::SNatEntryALIYUN::ECS::ForwardEntry这四个资源来搞定。并且在VPC网络中提供一台跳板机通过ALIYUN::ECS::ForwardEntry对外暴露22端口。详细的VPC网络配置大家可以参考这篇文章《新玩法,ROS帮你一键搭建NatGateway让VPC与Internet的互访》。

由于所有的节点都在一个VPC网络中,所以只需要创建一个安全组,把所有的机器加入,开放所需端口,在这里如规则开放了22,80,443,2377端口,出规则全部开放。安全组的创建以及所有的配置只需使用[ALIYUN::ECS::SecurityGroup]资源即可。

2. 部署UCP

部署需要的资源

UCP组件会在至少两台机器上运行,以便提供高可用,一台是master节点,一台是slave。同时它们挂载到一个SLB,用户通过SLB的公网IP访问UCP Web。SLB监听80,443和2377端口。由于master节点需要生成其他节点加入DDC时的token,所以ROS会首先创建一个master ECS并且使用UserData在master ECS启动的时候部署安装UCP组件,然后生成所需token 并记录token信息。接着再创建多个slave节点,使用UserData给slave节点部署UCP组件,并加入DDC环境,和master组成高可用UCP应用。ROS使用了[ALIYUN::ECS::Instance]创建master节点;使用ALIYUN::ECS::InstanceGroup创建多个slave节点;并通过这两个ALIYUN::ROS::WaitConditionALIYUN::ROS::WaitConditionHandle来监控UserData的执行情况和获取执行结果

当UCP节点创建完成后,都会挂载到SLB,创建,配置SLB以及挂载所有的UCP节点使用了这三个资源:
,[ALIYUN::SLB::LoadBalancer]创建SLB实例,[ALIYUN::SLB::Listener] 配置SLB监听那些端口,
[ALIYUN::SLB::BackendServerAttachment] 把UCP节点加入到SLB监听列表中。

部署安装UCP的UserData脚本主要命令

首先设置Docker软件包秘钥

curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import

添加阿里云的Docker源能够确保成功拉取Docker Engine安装包

echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list

安装Docker

curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh

配置拉取UCP镜像的Mirror

echo DOCKER_OPTS='--registry-mirror https://6udu7vtl.mirror.aliyuncs.com' > /etc/default/docker

安装UCP,这个命令只需在master节点执行

docker run --rm -v /var/run/docker.sock:/var/run/docker.sock  --name ucp docker/ucp install --debug --host-address  $ip_addr --admin-username $ucp_admin_username --admin-password $ucp_admin_password --san $ip_addr --san $controller_slb_ip

UCP install的参数解释:

  • --debug 打开debug查看详细的安装信息
  • --host-address 其他节点通过哪个IP访问UCP
  • --admin-username 设置UCP的管理账号
  • --admin-password 设置管理账号的密码
  • --san 指定那些IP或域名能够通过UCP的认证,这里添加了两个,一个是本机IP,一个是SLB的公网IP。这里必须写上SLB的IP地址,因为访问DTR的时候,会redirect到UCP做认证。如果不指定的话,就会直接使用私网IP,这时候必定访问失败。

根据生成token,-q参数控制生成manager或worker类型的token

docker swarm join-token -q manager

如果是slave节点,则安装UCP的命令只需替换成下面的命令即可

docker swarm join --token=$token ${ucp_controller_ip}:2377
token 就是Master节点生成的token
ucp_controller_ip 是安装master节点是指定的 --host-address

详细ROS模板的UCP节点资源定义

"Controller": {
      "DependsOn": "SNatEntry",
      "Properties": {
        "AllocatePublicIP": "false",
        "ImageId": {
          "Ref": "ControllerImageId"
        },
        "InstanceType": {
          "Ref": "ControllerInstanceType"
        },
        "IoOptimized": {
          "Ref": "ControllerIoOptimized"
        },
        "Password": {
          "Ref": "InstancePassword"
        },
        "SecurityGroupId": {
          "Fn::GetAtt": [
            "DefaultSecurityGroup",
            "SecurityGroupId"
          ]
        },
        "SystemDiskCategory": {
          "Ref": "ControllerSystemDiskCategory"
        },
        "UserData": {
          "Fn::Replace": [
            {
              "ros-notify": {
                "Fn::GetAtt": [
                  "ControllerConditionHandle",
                  "CurlCli"
                ]
              }
            },
            {
              "Fn::Join": [
                "",
                [
                  "#!/bin/sh\n",
                  "ucp_admin_username='",
                  {
                      "Ref": "UCPAdminUserName"
                  },
                  "'\n",
                  "ucp_admin_password='",
                  {
                      "Ref": "UCPAdminPassword"
                  },
                  "'\n",
                  "controller_slb_ip='",
                  {
                      "Fn::GetAtt": ["ControllerLoadBalancer", "IpAddress"]
                  },
                  "'\n",
                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",
                  "host_name=`hostname`\n",
                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",
                  "apt-get update\n",
                  "apt-get install -y apt-transport-https\n",
                  "apt-get install -y linux-image-extra-virtual\n",
                  "apt-get install -y curl\n",
                  "apt-get install -y unzip\n",
                  "apt-get install -y jq\n",
                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",
                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",
                  "# Installing Docker\n",
                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",
                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",
                  "sudo service docker restart\n",
                  "usermod -aG docker $USER\n",
                  "docker run --rm -v /var/run/docker.sock:/var/run/docker.sock  --name ucp docker/ucp install --debug --host-address  $ip_addr --admin-username $ucp_admin_username --admin-password $ucp_admin_password --san $ip_addr --san $controller_slb_ip\n",
                  "worker_token=`docker swarm join-token -q worker`\n",
                  "manager_token=`docker swarm join-token -q manager`\n",
                  "echo $worker_token, $manager_token > /tmp/tokens\n",
                  "cmd=\"ros-notify -d '{\\\"id\\\" : \\\"tokens\\\", \\\"data\\\" : [\\\"$worker_token\\\", \\\"$manager_token\\\"]}'\"\n",
                  "eval $cmd\n"
                ]
              ]
            }
          ]
        },
        "VSwitchId": {
          "Ref": "PubSubnet"
        },
        "VpcId": {
          "Ref": "Vpc"
        }
      },
      "Type": "ALIYUN::ECS::Instance"
    }

3. 部署DTR

DTR和UCP组件一样也是高可用部署,但是DTR没有master和slave节点之分,ROS可以直接使用ALIYUN::ECS::InstanceGroup一次创建多台DTR节点,当DTR节点启动时,执行UserData脚本部署DTR应用。同时所有的DTR节点挂载自己独立的SLB,SLB监听443,用户通过使用SLB的公网IP直接访问DTR Web页面。

DTR的安装和UCP的类似,只需要把安装UCP的命令换成下面这两个命令即可:

首先要加入DDC和UCP slave节点的命令一样

docker swarm join --token=$token ${ucp_controller_ip}:2377

安装DTR

docker run --rm -i docker/dtr install --debug --ucp-url https://$controller_slb_ip:443 --ucp-node $host_name --dtr-external-url https://$dtr_slb_ip:443 --ucp-username $ucp_admin_username --ucp-password $ucp_admin_password --ucp-insecure-tls  | tee -a /tmp/dtr_install_log,

DTR install的参数:

  • --debug 打开debug开关,查看安装的详细信息
  • --ucp-url 指定UCP的访问地址,这里使用UCP SLB的公网IP
  • --ucp-node 指定安装DTR的机器名
  • --dtr-external-url 供外部访问DTR的URL,指定DTR SLB的公网IP
  • --ucp-username UCP的管理员账号
  • --ucp-password UCP的管理员账号的密码
  • --ucp-insecure-tls 给UCP关闭TLS验证

详细ROS模板的DTR 资源定义

    "DTRNode": {
      "DependsOn": "Controller",
      "Properties": {
        "AllocatePublicIP": "false",
        "ImageId": {
          "Ref": "DTRImageId"
        },
        "InstanceType": {
          "Ref": "DTRInstanceType"
        },
        "IoOptimized": {
          "Ref": "DTRIoOptimized"
        },
        "MaxAmount": {
            "Ref" : "DTRMaxAmount"
        },
        "MinAmount": {
            "Ref" : "DTRMaxAmount"
        },
        "Password": {
          "Ref": "InstancePassword"
        },
        "SecurityGroupId": {
          "Fn::GetAtt": [
            "DefaultSecurityGroup",
            "SecurityGroupId"
          ]
        },
        "SystemDiskCategory": {
          "Ref": "DTRSystemDiskCategory"
        },
        "VSwitchId": {
          "Ref": "PubSubnet"
        },
        "VpcId": {
          "Ref": "Vpc"
        },
        "UserData": {
          "Fn::Replace": [
            {
              "ros-notify": {
                "Fn::GetAtt": [
                  "DTRConditionHandle",
                  "CurlCli"
                ]
              }
            },
            {
              "Fn::Join": [
                "",
                [
                  "#!/bin/sh\n",
                  "ucp_admin_username='",
                  {
                      "Ref": "UCPAdminUserName"
                  },
                  "'\n",
                  "ucp_admin_password='",
                  {
                      "Ref": "UCPAdminPassword"
                  },
                  "'\n",
                  "tokens='",
                  {
                    "Fn::GetAtt": [
                      "ControllerWaitCondition",
                      "Data"
                    ]
                  },
                  "'\n",
                  "ucp_controller_ip='",
                  {
                    "Fn::GetAtt": [
                      "Controller",
                      "PrivateIp"
                    ]
                  },
                  "'\n",
                  "controller_slb_ip='",
                  {
                      "Fn::GetAtt": ["ControllerLoadBalancer", "IpAddress"]
                  },
                  "'\n",
                  "dtr_slb_ip='",
                  {
                      "Fn::GetAtt": ["DTRLoadBalancer", "IpAddress"]
                  },
                  "'\n",
                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",
                  "host_name=`hostname`\n",
                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",
                  "apt-get update\n",
                  "apt-get install -y apt-transport-https\n",
                  "apt-get install -y linux-image-extra-virtual\n",
                  "apt-get install -y curl\n",
                  "apt-get install -y unzip\n",
                  "apt-get install -y jq\n",
                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",
                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",
                  "# Installing Docker\n",
                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",
                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",
                  "service docker restart\n",
                  "usermod -aG docker $USER\n",
                  "echo $tokens > /tmp/tokens\n",
                  "token=`echo \"$tokens\" | jq '.tokens'[0] | xargs echo `\n",
                  "echo $token > /tmp/worker_token \n",
                  "docker swarm join --token=$token ${ucp_controller_ip}:2377\n",
                  "sleep 300\n",
                  "docker run --rm -i docker/dtr install --debug --ucp-url https://$controller_slb_ip:443 --ucp-node $host_name --dtr-external-url https://$dtr_slb_ip:443 --ucp-username $ucp_admin_username --ucp-password $ucp_admin_password --ucp-insecure-tls  | tee -a /tmp/dtr_install_log\n",
                  "echo $token > /tmp/fin_worker_token\n",
                  "cmd=\"ros-notify -d '{\\\"data\\\" : \\\"$token\\\"}'\"\n",
                  "eval $cmd\n"
                ]
              ]
            }
          ]
        }
      },
      "Type": "ALIYUN::ECS::InstanceGroup"
    }

4. 部署Worker节点

Worker节点是正真部署用户自己应用的节点,这些节点只需要安装Docker Engine然后加入DDC即可。Worker节点也都是部署在VPC网络,外部访问同样也需要使用SLB,在这里SLB之监听了80端口,大家后续部署的时候可以通过修改ROS模板自己添加需要监听的端口。同DTR一样,ROS使用ALIYUN::ECS::InstanceGroup一次创建多个节点,并用UserData安装Docker engine和加入DDC。

部署Worker节点使用的命令和部署UCP的slave节点一样,只不过使用的Token不同,Worker节点使用的是worker类型的token。

详细ROS模板的Worker资源定义

    "UCPNode": {
      "DependsOn": "Controller",
      "Properties": {
        "AllocatePublicIP": "false",
        "ImageId": {
          "Ref": "UCPImageId"
        },
        "InstanceType": {
          "Ref": "UCPInstanceType"
        },
        "IoOptimized": {
          "Ref": "UCPIoOptimized"
        },
        "MaxAmount": {
          "Ref": "UCPMaxAmount"
        },
        "MinAmount": {
          "Ref": "UCPMaxAmount"
        },
        "Password": {
          "Ref": "InstancePassword"
        },
        "SecurityGroupId": {
          "Fn::GetAtt": [
            "DefaultSecurityGroup",
            "SecurityGroupId"
          ]
        },
        "SystemDiskCategory": {
          "Ref": "UCPSystemDiskCategory"
        },
        "UserData": {
          "Fn::Replace": [
            {
              "ros-notify": {
                "Fn::GetAtt": [
                  "UCPConditionHandle",
                  "CurlCli"
                ]
              }
            },
            {
              "Fn::Join": [
                "",
                [
                  "#!/bin/sh\n",
                  "tokens='",
                  {
                    "Fn::GetAtt": [
                      "ControllerWaitCondition",
                      "Data"
                    ]
                  },
                  "'\n",
                  "ucp_controller_ip='",
                  {
                    "Fn::GetAtt": [
                      "Controller",
                      "PrivateIp"
                    ]
                  },
                  "'\n",
                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",
                  "host_name=`hostname`\n",
                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",
                  "apt-get update\n",
                  "apt-get install -y apt-transport-https\n",
                  "apt-get install -y linux-image-extra-virtual\n",
                  "apt-get install -y curl\n",
                  "apt-get install -y unzip\n",
                  "apt-get install -y jq\n",
                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",
                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",
                  "# Installing Docker\n",
                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",
                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",
                  "service docker restart\n",
                  "usermod -aG docker $USER\n",
                  "echo $tokens > /tmp/tokens\n",
                  "token=`echo \"$tokens\" | jq '.tokens'[0] | xargs echo `\n",
                  "echo $token > /tmp/worker_token \n",
                  "cmd=\"ros-notify -d '{\\\"data\\\" : \\\"$token\\\"}'\"\n",
                  "eval $cmd\n",
                  "docker swarm join --token=$token ${ucp_controller_ip}:2377\n",
                  "echo $token > /tmp/fin_worker_token\n"
                ]
              ]
            }
          ]
        },
        "VSwitchId": {
          "Ref": "PubSubnet"
        },
        "VpcId": {
          "Ref": "Vpc"
        }
      },
      "Type": "ALIYUN::ECS::InstanceGroup"
    }

总结

大规模手工部署一个高可用的DDC环境还是有一定的复杂度,利用本文中提供的ROS模板,可以非常方便的帮你一键部署DDC环境,让你把更多的精力放在自己的业务上。

一键部署>>>

ROS
相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
应用服务中间件 网络安全 nginx
手把手教你使用 Docker 部署 Nginx 教程
本文详解Nginx核心功能与Docker部署优势,涵盖镜像拉取、容器化部署(快速、挂载、Compose)、HTTPS配置及常见问题处理,助力高效搭建稳定Web服务。
1020 4
|
3月前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1705 10
|
2月前
|
应用服务中间件 Linux nginx
在虚拟机Docker环境下部署Nginx的步骤。
以上就是在Docker环境下部署Nginx的步骤。需要注意,Docker和Nginix都有很多高级用法和细节需要掌握,以上只是一个基础入门级别的教程。如果你想要更深入地学习和使用它们,请参考官方文档或者其他专业书籍。
145 5
|
3月前
|
存储 Docker Python
docker 部署 sftp
本文介绍SFTP服务的部署与配置,包括users.conf用户配置规则、Docker容器运行命令及上传目录权限说明,重点解析atmoz/sftp镜像的chroot机制与子目录映射,确保用户登录后正确访问/upload目录,并提供Python脚本实现文件上传示例。
265 12
docker 部署 sftp
|
3月前
|
运维 Linux 数据库
基于 Docker 部署 n8n 指南,新手一看就会
本教程详解如何通过 Docker 快速部署开源自动化工具 n8n,适合新手快速上手。内容涵盖官方部署步骤、常见难点及第三方一键部署方案,助你高效搭建自动化工作流平台。
1187 6
|
2月前
|
存储 NoSQL Redis
手把手教你用 Docker 部署 Redis
Redis是高性能内存数据库,支持多种数据结构,适用于缓存、消息队列等场景。本文介绍如何通过Docker快速拉取轩辕镜像并部署Redis,涵盖快速启动、持久化存储及docker-compose配置,助力开发者高效搭建稳定服务。
770 7
|
2月前
|
存储 搜索推荐 数据库
🚀 RAGFlow Docker 部署全流程教程
RAGFlow是开源的下一代RAG系统,融合向量数据库与大模型,支持全文检索、插件化引擎切换,适用于企业知识库、智能客服等场景。支持Docker一键部署,提供轻量与完整版本,助力高效搭建私有化AI问答平台。
1942 8
|
2月前
|
存储 关系型数据库 MySQL
MySQL Docker 容器化部署全指南
MySQL是一款开源关系型数据库,广泛用于Web及企业应用。Docker容器化部署可解决环境不一致、依赖冲突问题,实现高效、隔离、轻量的MySQL服务运行,支持数据持久化与快速迁移,适用于开发、测试及生产环境。
507 4
|
3月前
|
前端开发 JavaScript 应用服务中间件
在Docker部署的前端应用中使用动态环境变量
以上步骤展示了如何在 Docker 配置过程中处理并注入环墨遁形成可执行操作流程,并确保最终用户能够无缝地与之交互而无须关心背后复杂性。
196 13