久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

openstack云计算平台

發(fā)布時(shí)間:2024/1/1 编程问答 23 豆豆
生活随笔 收集整理的這篇文章主要介紹了 openstack云计算平台 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

文章目錄

    • openstack簡(jiǎn)介
    • 1 openstack環(huán)境部署
      • 1.1主機(jī)網(wǎng)絡(luò)和解析
      • 1.2網(wǎng)絡(luò)時(shí)間協(xié)議,所有的節(jié)點(diǎn)時(shí)間一直
      • 1.3OpenStack包
      • 1.4 SQL數(shù)據(jù)庫(kù)
      • 1.5 消息隊(duì)列
      • 1.6 memcached
    • 2.認(rèn)證服務(wù)
      • 2.1 安裝和配置
        • 1)先決條件
        • 2)安全并配置組件
        • 3)配置 Apache HTTP 服務(wù)器
      • 2.2 創(chuàng)建服務(wù)實(shí)體和API端點(diǎn)
      • 2.3 創(chuàng)建域、項(xiàng)目、用戶和角色
      • 2.3 驗(yàn)證操作
      • 2.4 創(chuàng)建 OpenStack 客戶端環(huán)境腳本
    • 3 鏡像服務(wù)
      • 3.1 安裝和配置
      • 3.2 安全并配置組件
      • 3.3 驗(yàn)證操作
    • 4.計(jì)算服務(wù)nova
      • 4.1 安裝并配置控制節(jié)點(diǎn)
      • 4.2 安裝并配置計(jì)算節(jié)點(diǎn)
        • 1)計(jì)算節(jié)點(diǎn)server2環(huán)境部署
        • 2)安裝和配置計(jì)算節(jié)點(diǎn)
        • 3)驗(yàn)證操作
    • 5.Networking 服務(wù)
      • 5.1 安裝并配置控制節(jié)點(diǎn)
      • 5.2 網(wǎng)絡(luò)選項(xiàng)1:公共網(wǎng)絡(luò)
      • 5.3 繼續(xù)配置控制節(jié)點(diǎn)
      • 5.4 安裝和配置計(jì)算節(jié)點(diǎn)
      • 5.5 網(wǎng)絡(luò)選項(xiàng)1:公共網(wǎng)絡(luò)
      • 5.6 繼續(xù)配置計(jì)算節(jié)點(diǎn)
      • 5.7 驗(yàn)證操作
    • 6.啟動(dòng)一個(gè)實(shí)例
        • 1)提供者網(wǎng)絡(luò)
        • 2)創(chuàng)建m1.nano規(guī)格的主機(jī)
        • 3)生成一個(gè)鍵值對(duì)
        • 4)增加安全組規(guī)則
        • 5)啟動(dòng)一個(gè)實(shí)例
    • 7.dashboard可視化界面
      • 7.1 安全并配置組件
      • 7.2 驗(yàn)證操作
    • 8 dashboard可視化界面添加私有網(wǎng)絡(luò)配置
      • 8.1 控制節(jié)點(diǎn)->網(wǎng)絡(luò)選項(xiàng)2:私有網(wǎng)絡(luò)
      • 8.2 計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)選項(xiàng)2:私有網(wǎng)絡(luò)
    • 9.鏡像服務(wù)
      • 9.1 安裝虛擬機(jī)
      • 9.2 上傳鏡像
    • 10.塊存儲(chǔ)服務(wù)
      • 10.1 先決條件
      • 10.2 安裝并配置控制節(jié)點(diǎn)


openstack簡(jiǎn)介

openstack云計(jì)算平臺(tái)官網(wǎng):https://docs.openstack.org/mitaka/zh_CN/install-guide-rdo/

  • OpenStack就是一個(gè)云操作系統(tǒng),目的是簡(jiǎn)化云的部署過程,并為其帶來良好的可擴(kuò)展性。它控制整個(gè)數(shù)據(jù)中心的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的大型池,所有這些都通過具有通用身份驗(yàn)證機(jī)制的api進(jìn)行管理和配置。
  • 還提供了一個(gè)儀表板,允許管理員控制,同時(shí)允許用戶通過web界面提供資源
  • 除了標(biāo)準(zhǔn)的基礎(chǔ)設(shè)施即服務(wù)功能外,其他組件還提供編排、故障管理和服務(wù)管理等服務(wù),以確保用戶應(yīng)用程序的高可用性。
  • 整個(gè)OpenStack是由控制節(jié)點(diǎn),計(jì)算節(jié)點(diǎn),網(wǎng)絡(luò)節(jié)點(diǎn),存儲(chǔ)節(jié)點(diǎn)四大部分組成。計(jì)算服務(wù)、認(rèn)證服務(wù)、網(wǎng)絡(luò)服務(wù)、鏡像服務(wù)、塊存儲(chǔ)服務(wù)、對(duì)象存儲(chǔ)服務(wù)、計(jì)量服務(wù)、編排服務(wù)和數(shù)據(jù)庫(kù)服務(wù)。
  • openstack重要集成組件:
    <1> Horizon: UI服務(wù),用于管理Openstack各種服務(wù)的、基于web的管理(UI界面)接口通過圖形界面實(shí)現(xiàn)創(chuàng)建用戶、管理網(wǎng)絡(luò)、啟動(dòng)實(shí)例等操作.
    <2>Keystone: 認(rèn)證服務(wù),為其他服務(wù)提供認(rèn)證和授權(quán)的集中身份管理服務(wù);
    – 也提供了集中的目錄服務(wù);
    – 支持多種身份認(rèn)證模式,如密碼認(rèn)證、令牌認(rèn)證、以及AWS(亞馬遜Web服務(wù))登陸;
    – 為用戶和其他服務(wù)提供了SSO認(rèn)證服務(wù);
    <3>Neutron: 一種軟件定義網(wǎng)絡(luò)服務(wù);
    – 用于創(chuàng)建網(wǎng)絡(luò)、子網(wǎng)、路由器、管理浮動(dòng)IP地址;
    – 可以實(shí)現(xiàn)虛擬交換機(jī)、虛擬路由器;
    – 可用于在項(xiàng)目中創(chuàng)建VPN;
    <4>Cinder: 塊存儲(chǔ)服務(wù)
    – 為虛擬機(jī)管理存儲(chǔ)卷的服務(wù);
    – 為運(yùn)行在Nova中的實(shí)例提供永久的塊存儲(chǔ);
    – 可以通過快照進(jìn)行數(shù)據(jù)備份;
    – 經(jīng)常應(yīng)用在實(shí)例存儲(chǔ)環(huán)境中,如數(shù)據(jù)庫(kù)文件;
    <5>Glance: 鏡像服務(wù)
    – 扮演虛擬機(jī)鏡像注冊(cè)的角色;
    – 允許用戶為直接存儲(chǔ)拷貝服務(wù)器鏡像;
    – 這些鏡像可以用于新建虛擬機(jī)的模板;
    <6>Nova:計(jì)算服務(wù)
    –在節(jié)點(diǎn)上用于管理虛擬機(jī)的服務(wù);
    –Nova是一個(gè)分布式的服務(wù),能夠與Keystone交互實(shí)現(xiàn)認(rèn)證,與Glance交互實(shí)現(xiàn)鏡像管理;
    –Nova被設(shè)計(jì)成在標(biāo)準(zhǔn)硬件上能夠進(jìn)行水平擴(kuò)展;
    –啟動(dòng)實(shí)例時(shí),如果有則需要下載鏡像;

1 openstack環(huán)境部署

##新建一個(gè)快照server1,內(nèi)存4096,兩個(gè)虛擬網(wǎng)卡,4個(gè)CPU,模式是直通host-passthrough
##若添加的網(wǎng)卡不是eth1,就在server1中vim /boot/grub2/grubenv 添加net.ifnames=0

1.1主機(jī)網(wǎng)絡(luò)和解析

https://docs.openstack.org/mitaka/zh_CN/install-guide-rdo/environment-networking.html [root@server1 ~]# ip addr [root@server1 ~]# cd /etc/sysconfig/network-scripts/ [root@server1 network-scripts]# cp ifcfg-eth0 ifcfg-eth1 [root@server1 network-scripts]# vim ifcfg-eth1 [root@server1 network-scripts]# cat ifcfg-eth1 BOOTPROTO=none DEVICE=eth1 ONBOOT=yes [root@server1 network-scripts]# ifup eth1##啟動(dòng)eth1 [root@server1 network-scripts]# ip addr show eth1 3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 [root@server1 ~]# vim /etc/hosts 172.25.3.1 controller 172.25.3.2 compute1 172.25.3.3 block1 [root@server1 ~]# hostnamectl set-hostname controller [root@server1 ~]# logout##斷開重連server1 [root@zhenji images]# ssh 172.25.3.1

1.2網(wǎng)絡(luò)時(shí)間協(xié)議,所有的節(jié)點(diǎn)時(shí)間一直

宿主機(jī)(真機(jī))同步172.25.254.250,虛擬機(jī)(快照)同步宿主機(jī)(172.25.3.250)
若宿主機(jī)能聯(lián)網(wǎng),直接宿主機(jī)同步也行。所有節(jié)點(diǎn)與控制節(jié)點(diǎn)一致。

[root@controller ~]# yum install chrony -y [root@controller ~]# vim /etc/chrony.conf ##第三行添加 server 172.25.3.250 iburst##宿主機(jī)的Ip [root@zhenji ~]# vim /etc/chrony.conf server 172.25.254.250 iburst [root@controller ~]# systemctl enable --now chronyd [root@controller ~]# chronyc sources -v##時(shí)間同步 ^* zhenji 4 6 377 6 +183us[ +346us] +/- 34ms


1.3OpenStack包

[root@zhenji ~]# cd /var/www/html/ [root@zhenji html]# ls##下載該目錄下rpm包 mitaka [root@zhenji html mitaka]# ls bootswatch-common-3.3.5.3-2.el7.noarch.rpm bootswatch-fonts-3.3.5.3-2.el7.noarch.rpm crudini-0.7-1.el7.noarch.rpm dibbler-client-1.0.1-0.RC1.2.el7.x86_64.rpm dnsmasq-utils-2.66-21.el7.x86_64.rpm erlang-asn1-18.3.4.4-2.el7.x86_64.rpm erlang-compiler-18.3.4.4-2.el7.x86_64.rpm erlang-crypto-18.3.4.4-2.el7.x86_64.rpm erlang-eldap-18.3.4.4-2.el7.x86_64.rpm erlang-erts-18.3.4.4-2.el7.x86_64.rpm erlang-hipe-18.3.4.4-2.el7.x86_64.rpm erlang-inets-18.3.4.4-2.el7.x86_64.rpm erlang-kernel-18.3.4.4-2.el7.x86_64.rpm erlang-mnesia-18.3.4.4-2.el7.x86_64.rpm erlang-os_mon-18.3.4.4-2.el7.x86_64.rpm erlang-otp_mibs-18.3.4.4-2.el7.x86_64.rpm erlang-public_key-18.3.4.4-2.el7.x86_64.rpm erlang-runtime_tools-18.3.4.4-2.el7.x86_64.rpm erlang-sasl-18.3.4.4-2.el7.x86_64.rpm erlang-sd_notify-0.1-9.el7.x86_64.rpm erlang-snmp-18.3.4.4-2.el7.x86_64.rpm erlang-ssl-18.3.4.4-2.el7.x86_64.rpm erlang-stdlib-18.3.4.4-2.el7.x86_64.rpm erlang-syntax_tools-18.3.4.4-2.el7.x86_64.rpm erlang-tools-18.3.4.4-2.el7.x86_64.rpm erlang-xmerl-18.3.4.4-2.el7.x86_64.rpm fontawesome-fonts-4.4.0-1.el7.noarch.rpm fontawesome-fonts-web-4.4.0-1.el7.noarch.rpm gperftools-libs-2.4-7.el7.i686.rpm gperftools-libs-2.4.91-1.el7.x86_64.rpm ipxe-roms-qemu-20160127-1.git6366fa7a.el7.noarch.rpm libimagequant-2.8.2-2.el7.x86_64.rpm libnetfilter_queue-1.0.2-2.el7.x86_64.rpm libxslt-python-1.1.28-5.el7.x86_64.rpm mariadb-10.1.20-1.el7.x86_64.rpm mariadb-common-10.1.20-1.el7.x86_64.rpm mariadb-config-10.1.20-1.el7.x86_64.rpm mariadb-errmsg-10.1.20-1.el7.x86_64.rpm mariadb-libs-10.1.20-1.el7.x86_64.rpm mariadb-server-10.1.20-1.el7.x86_64.rpm mdi-common-1.1.70.1-5.el7.noarch.rpm mdi-fonts-1.1.70.1-5.el7.noarch.rpm memcached-1.4.33-2.el7.x86_64.rpm novnc-0.5.1-2.el7.noarch.rpm openjpeg2-2.1.2-1.el7.x86_64.rpm openstack-cinder-8.1.0-1.el7.noarch.rpm openstack-dashboard-9.0.1-1.el7.noarch.rpm openstack-glance-12.0.0-1.el7.noarch.rpm openstack-keystone-9.2.0-1.el7.noarch.rpm openstack-neutron-8.3.0-1.el7.noarch.rpm openstack-neutron-common-8.3.0-1.el7.noarch.rpm openstack-neutron-linuxbridge-8.3.0-1.el7.noarch.rpm openstack-neutron-ml2-8.3.0-1.el7.noarch.rpm openstack-nova-api-13.1.2-1.el7.noarch.rpm openstack-nova-common-13.1.2-1.el7.noarch.rpm openstack-nova-compute-13.1.2-1.el7.noarch.rpm openstack-nova-conductor-13.1.2-1.el7.noarch.rpm openstack-nova-console-13.1.2-1.el7.noarch.rpm openstack-nova-novncproxy-13.1.2-1.el7.noarch.rpm openstack-nova-scheduler-13.1.2-1.el7.noarch.rpm openstack-selinux-0.7.13-2.el7.noarch.rpm openstack-utils-2016.1-1.el7.noarch.rpm pyOpenSSL-0.15.1-1.el7.noarch.rpm pyparsing-2.0.7-1.el7.noarch.rpm pysendfile-2.0.0-5.el7.x86_64.rpm python2-appdirs-1.4.0-4.el7.noarch.rpm python2-babel-2.3.4-1.el7.noarch.rpm python2-castellan-0.4.0-1.el7.noarch.rpm python2-cffi-1.5.2-1.el7.x86_64.rpm python2-cinderclient-1.6.0-2.el7.noarch.rpm python2-cryptography-1.2.1-3.el7.x86_64.rpm python2-debtcollector-1.3.0-1.el7.noarch.rpm python2-designateclient-2.1.0-1.el7.noarch.rpm python2-eventlet-0.17.4-4.el7.noarch.rpm python2-fasteners-0.14.1-6.el7.noarch.rpm python2-funcsigs-0.4-2.el7.noarch.rpm python2-futurist-0.13.0-1.el7.noarch.rpm python2-gflags-2.0-5.el7.noarch.rpm python2-glanceclient-2.0.1-2.el7.noarch.rpm python2-google-api-client-1.4.2-4.el7.noarch.rpm python2-greenlet-0.4.9-1.el7.x86_64.rpm python2-heatclient-1.1.0-2.el7.noarch.rpm python2-iso8601-0.1.11-1.el7.noarch.rpm python2-jsonpatch-1.14-1.el7.noarch.rpm python2-jsonpointer-1.10-4.el7.noarch.rpm python2-keystoneauth1-2.4.1-1.el7.noarch.rpm python2-mock-1.3.0-2.el7.noarch.rpm python2-neutronclient-4.1.2-1.el7.noarch.rpm python2-novaclient-3.3.2-1.el7.noarch.rpm python2-numpy-1.11.2-2.el7.x86_64.rpm python2-oauth2client-1.5.2-3.el7.1.noarch.rpm python2-olefile-0.44-1.el7.noarch.rpm python2-openstacksdk-0.8.3-1.el7.noarch.rpm python2-os-brick-1.1.0-1.el7.noarch.rpm python2-os-client-config-1.16.0-1.el7.noarch.rpm python2-oslo-cache-1.6.0-1.el7.noarch.rpm python2-oslo-concurrency-3.7.1-3.el7.noarch.rpm python2-oslo-config-3.9.0-1.el7.noarch.rpm python2-oslo-context-2.2.0-2.el7.noarch.rpm python2-oslo-db-4.7.1-1.el7.noarch.rpm python2-oslo-i18n-3.5.0-1.el7.noarch.rpm python2-oslo-log-3.3.0-1.el7.noarch.rpm python2-oslo-messaging-4.6.1-1.el7.noarch.rpm python2-oslo-middleware-3.8.0-1.el7.noarch.rpm python2-oslo-policy-1.6.0-1.el7.noarch.rpm python2-oslo-reports-1.7.0-1.el7.noarch.rpm python2-oslo-rootwrap-4.1.0-1.el7.noarch.rpm python2-oslo-serialization-2.4.0-2.el7.noarch.rpm python2-oslo-service-1.8.0-1.el7.noarch.rpm python2-oslo-utils-3.8.0-2.el7.noarch.rpm python2-oslo-versionedobjects-1.8.0-1.el7.noarch.rpm python2-oslo-vmware-2.5.0-1.el7.noarch.rpm python2-passlib-1.7.0-4.el7.noarch.rpm python2-pecan-1.0.2-2.el7.noarch.rpm python2-pika-0.10.0-3.el7.noarch.rpm python2-pika_pool-0.1.3-3.el7.noarch.rpm python2-pillow-4.0.0-1.el7.x86_64.rpm python2-positional-1.0.1-1.el7.noarch.rpm python2-psutil-5.0.1-2.el7.x86_64.rpm python2-pyasn1-0.1.9-6.el7.1.noarch.rpm python2-pyasn1-modules-0.1.9-6.el7.1.noarch.rpm python2-pycadf-2.2.0-1.el7.noarch.rpm python2-PyMySQL-0.7.9-2.el7.noarch.rpm python2-pysaml2-3.0.2-2.el7.noarch.rpm python2-pysocks-1.5.6-3.el7.noarch.rpm python2-rcssmin-1.0.6-2.el7.x86_64.rpm python2-requests-2.11.1-1.el7.noarch.rpm python2-requestsexceptions-1.1.3-1.el7.noarch.rpm python2-rfc3986-0.3.1-1.el7.noarch.rpm python2-rjsmin-1.0.12-2.el7.x86_64.rpm python2-rsa-3.3-2.el7.noarch.rpm python2-ryu-4.3-2.el7.noarch.rpm python2-saharaclient-0.14.1-1.el7.noarch.rpm python2-scipy-0.17.0-2.el7.x86_64.rpm python2-scss-1.3.4-6.el7.x86_64.rpm python2-setuptools-22.0.5-1.el7.noarch.rpm python2-singledispatch-3.4.0.3-4.el7.noarch.rpm python2-stevedore-1.12.0-2.el7.noarch.rpm python2-suds-0.7-0.4.94664ddd46a6.el7.noarch.rpm python2-swiftclient-3.0.0-3.el7.noarch.rpm python2-taskflow-1.30.0-3.el7.noarch.rpm python2-troveclient-2.1.2-2.el7.noarch.rpm python2-uri-templates-0.6-5.el7.noarch.rpm python2-urllib3-1.16-1.el7.noarch.rpm python2-wsme-0.8.0-1.el7.noarch.rpm python2-XStatic-1.0.1-8.el7.noarch.rpm python2-XStatic-bootswatch-3.3.5.3-2.el7.noarch.rpm python2-XStatic-mdi-1.1.70.1-5.el7.noarch.rpm python2-XStatic-roboto-fontface-0.4.3.2-8.el7.noarch.rpm python2-zake-0.2.2-2.el7.noarch.rpm python-alembic-0.8.7-1.el7.noarch.rpm python-amqp-1.4.6-1.el7.noarch.rpm python-anyjson-0.3.3-3.el7.noarch.rpm python-automaton-1.2.0-1.el7.noarch.rpm python-beautifulsoup4-4.4.1-3.el7.noarch.rpm python-boto-2.34.0-4.el7.noarch.rpm python-cachetools-1.0.3-2.el7.noarch.rpm python-ceilometerclient-2.4.0-1.el7.noarch.rpm python-cheetah-2.4.4-4.el7.x86_64.rpm python-cinder-8.1.0-1.el7.noarch.rpm python-cliff-2.0.0-1.el7.noarch.rpm python-cliff-tablib-1.1-3.el7.noarch.rpm python-cmd2-0.6.8-8.el7.noarch.rpm python-contextlib2-0.4.0-1.el7.noarch.rpm python-crypto-2.6.1-1.el7.x86_64.rpm python-dateutil-2.4.2-1.el7.noarch.rpm python-django-1.8.14-1.el7.noarch.rpm python-django-appconf-1.0.1-4.el7.noarch.rpm python-django-bash-completion-1.8.14-1.el7.noarch.rpm python-django-compressor-2.0-1.el7.noarch.rpm python-django-horizon-9.0.1-1.el7.noarch.rpm python-django-openstack-auth-2.2.1-1.el7.noarch.rpm python-django-pyscss-2.0.2-1.el7.noarch.rpm python-dogpile-cache-0.5.7-3.el7.noarch.rpm python-dogpile-core-0.4.1-2.el7.noarch.rpm python-ecdsa-0.11-3.el7.noarch.rpm python-editor-0.4-4.el7.noarch.rpm python-extras-0.0.3-2.el7.noarch.rpm python-fixtures-3.0.0-2.el7.noarch.rpm python-futures-3.0.3-1.el7.noarch.rpm python-glance-12.0.0-1.el7.noarch.rpm python-glance-store-0.13.1-1.el7.noarch.rpm python-html5lib-0.999-5.el7.noarch.rpm python-httplib2-0.9.2-1.el7.noarch.rpm python-idna-2.0-1.el7.noarch.rpm python-ipaddress-1.0.16-3.el7.noarch.rpm python-jsonschema-2.3.0-1.el7.noarch.rpm python-kazoo-2.2.1-1.el7.noarch.rpm python-keyring-5.7.1-1.el7.noarch.rpm python-keystone-9.2.0-1.el7.noarch.rpm python-keystoneclient-2.3.1-2.el7.noarch.rpm python-keystonemiddleware-4.4.1-1.el7.noarch.rpm python-kombu-3.0.32-1.el7.noarch.rpm python-ldappool-1.0-4.el7.noarch.rpm python-lesscpy-0.9j-4.el7.noarch.rpm python-linecache2-1.0.0-1.el7.noarch.rpm python-lockfile-0.9.1-4.el7.noarch.rpm python-logutils-0.3.3-3.el7.noarch.rpm python-markdown-2.4.1-1.el7.noarch.rpm python-memcached-1.54-3.el7.noarch.rpm python-migrate-0.10.0-1.el7.noarch.rpm python-mimeparse-0.1.4-1.el7.noarch.rpm python-monotonic-0.6-1.el7.noarch.rpm python-msgpack-0.4.6-3.el7.x86_64.rpm python-ncclient-0.4.2-2.el7.noarch.rpm python-netaddr-0.7.18-1.el7.noarch.rpm python-netifaces-0.10.4-1.el7.x86_64.rpm python-networkx-1.10-1.el7.noarch.rpm python-networkx-core-1.10-1.el7.noarch.rpm python-neutron-8.3.0-1.el7.noarch.rpm python-neutron-lib-0.0.3-1.el7.noarch.rpm python-nose-1.3.7-7.el7.noarch.rpm python-nova-13.1.2-1.el7.noarch.rpm python-oauthlib-0.7.2-5.20150520git514cad7.el7.noarch.rpm python-openstackclient-2.3.0-1.el7.noarch.rpm python-osprofiler-1.2.0-1.el7.noarch.rpm python-paramiko-1.15.1-1.el7.noarch.rpm python-paste-deploy-1.5.2-6.el7.noarch.rpm python-pathlib-1.0.1-1.el7.noarch.rpm python-pbr-1.8.1-2.el7.noarch.rpm python-pint-0.6-2.el7.noarch.rpm python-posix_ipc-0.9.8-1.el7.x86_64.rpm python-prettytable-0.7.2-1.el7.noarch.rpm python-pycadf-common-2.2.0-1.el7.noarch.rpm python-pygments-2.0.2-4.el7.noarch.rpm python-repoze-lru-0.4-3.el7.noarch.rpm python-repoze-who-2.1-1.el7.noarch.rpm python-retrying-1.2.3-4.el7.noarch.rpm python-routes-1.13-2.el7.noarch.rpm python-ryu-common-4.3-2.el7.noarch.rpm python-semantic_version-2.4.2-1.el7.noarch.rpm python-simplegeneric-0.8-7.el7.noarch.rpm python-simplejson-3.5.3-5.el7.x86_64.rpm python-six-1.10.0-3.el7.noarch.rpm python-sqlalchemy-1.0.11-1.el7.x86_64.rpm python-sqlparse-0.1.18-5.el7.noarch.rpm python-tablib-0.10.0-1.el7.noarch.rpm python-tempita-0.5.1-8.el7.noarch.rpm python-testtools-1.8.0-2.el7.noarch.rpm python-tooz-1.34.0-1.el7.noarch.rpm python-traceback2-1.4.0-2.el7.noarch.rpm python-unicodecsv-0.14.1-1.el7.noarch.rpm python-unittest2-1.0.1-1.el7.noarch.rpm python-versiontools-1.9.1-4.el7.noarch.rpm python-voluptuous-0.8.9-1.el7.noarch.rpm python-waitress-0.8.9-5.el7.noarch.rpm python-warlock-1.0.1-1.el7.noarch.rpm python-webob-1.4.1-2.el7.noarch.rpm python-websockify-0.8.0-1.el7.noarch.rpm python-webtest-2.0.23-1.el7.noarch.rpm python-wrapt-1.10.8-2.el7.x86_64.rpm python-XStatic-Angular-1.3.7.0-4.el7.noarch.rpm python-XStatic-Angular-Bootstrap-0.11.0.2-1.el7.noarch.rpm python-XStatic-Angular-Gettext-2.1.0.2-1.el7.noarch.rpm python-XStatic-Angular-lrdragndrop-1.0.2.2-2.el7.noarch.rpm python-XStatic-Angular-Mock-1.2.1.1-2.el7.noarch.rpm python-XStatic-Bootstrap-Datepicker-1.3.1.0-1.el7.noarch.rpm python-XStatic-Bootstrap-SCSS-3.2.0.0-1.el7.noarch.rpm python-XStatic-D3-3.1.6.2-2.el7.noarch.rpm python-XStatic-Font-Awesome-4.3.0.0-1.el7.noarch.rpm python-XStatic-Hogan-2.0.0.2-2.el7.noarch.rpm python-XStatic-Jasmine-1.3.1.1-2.el7.noarch.rpm python-XStatic-jQuery-1.10.2.1-1.el7.noarch.rpm python-XStatic-JQuery-Migrate-1.2.1.1-2.el7.noarch.rpm python-XStatic-JQuery-quicksearch-2.0.3.1-2.el7.noarch.rpm python-XStatic-JQuery-TableSorter-2.14.5.1-2.el7.noarch.rpm python-XStatic-jquery-ui-1.10.4.1-1.el7.noarch.rpm python-XStatic-JSEncrypt-2.0.0.2-2.el7.noarch.rpm python-XStatic-Magic-Search-0.2.0.1-2.el7.noarch.rpm python-XStatic-QUnit-1.14.0.2-2.el7.noarch.rpm python-XStatic-Rickshaw-1.5.0.0-4.el7.noarch.rpm python-XStatic-smart-table-1.4.5.3-5.el7.1.noarch.rpm python-XStatic-Spin-1.2.5.2-2.el7.noarch.rpm python-XStatic-termjs-0.0.4.2-2.el7.noarch.rpm python-zope-interface-4.0.5-4.el7.x86_64.rpm rabbitmq-server-3.6.5-1.el7.noarch.rpm repodata roboto-fontface-common-0.4.3.2-8.el7.noarch.rpm roboto-fontface-fonts-0.4.3.2-8.el7.noarch.rpm web-assets-filesystem-5-1.el7.noarch.rpm[root@controller ~]# vim /etc/yum.repos.d/openstack.repo [root@controller ~]# cat /etc/yum.repos.d/openstack.repo [openstack] name=mitaka baseurl=http://172.25.3.250/mitaka gpgcheck=0[root@controller ~]# yum repolist [root@controller ~]# yum upgrade [root@controller ~]# yum install python-openstackclient -y

1.4 SQL數(shù)據(jù)庫(kù)

大多數(shù) OpenStack 服務(wù)使用 SQL 數(shù)據(jù)庫(kù)來存儲(chǔ)信息。 典型地,數(shù)據(jù)庫(kù)運(yùn)行在控制節(jié)點(diǎn)上。

[root@controller ~]# yum install mariadb mariadb-server python2-PyMySQL -y [root@controller ~]# vim /etc/my.cnf.d/openstack.cnf [root@controller ~]# cat /etc/my.cnf.d/openstack.cnf [mysqld] bind-address = 172.25.3.1 default-storage-engine = innodb##默認(rèn)引擎 innodb_file_per_table max_connections = 4096##最大連接數(shù) collation-server = utf8_general_ci character-set-server = utf8 [root@controller ~]# systemctl enable --now mariadb.service [root@controller ~]# mysql_secure_installation ##數(shù)據(jù)庫(kù)安全初始化,密碼之后都是y 包含選項(xiàng): 提示輸入密碼,沒有密碼就直接回車 提示設(shè)置root user密碼 Y 生產(chǎn)環(huán)境建議刪除系統(tǒng)創(chuàng)建的匿名用戶 Y 禁止root用戶遠(yuǎn)程登錄 Y 刪除test數(shù)據(jù)庫(kù) Y 重載權(quán)限表 Y

1.5 消息隊(duì)列

OpenStack 使用 message queue 協(xié)調(diào)操作和各服務(wù)的狀態(tài)信息。消息隊(duì)列服務(wù)一般運(yùn)行在控制節(jié)點(diǎn)上。

[root@controller ~]# yum install rabbitmq-server -y [root@controller ~]# systemctl enable --now rabbitmq-server.service ##添加 openstack 用戶,用戶和密碼都是openstack [root@controller ~]# rabbitmqctl add_user openstack openstack ##給``openstack``用戶配置寫和讀權(quán)限 [root@controller ~]# rabbitmqctl set_permissions openstack ".*" ".*" ".*" [root@controller ~]# rabbitmq-plugins enable rabbitmq_management [root@controller ~]# netstat -antlp tcp 0 0 0.0.0.0:15672 0.0.0.0:* LISTEN

網(wǎng)頁訪問http://172.25.3.1:15672,用戶和密碼是guest

[root@controller ~]# rabbitmqctl --help [root@controller ~]# rabbitmqctl list_users [root@controller ~]# rabbitmqctl list_user_permissions openstack Listing permissions for user "openstack" ... / .* .* .* [root@controller ~]# rabbitmqctl authenticate_user openstack openstack

1.6 memcached

認(rèn)證服務(wù)認(rèn)證緩存使用Memcached緩存令牌

[root@controller ~]# yum install memcached python-memcached -y [root@controller ~]# vim /etc/sysconfig/memcached #OPTIONS="-l 127.0.0.1,::1"##注釋監(jiān)聽本機(jī),就可以監(jiān)聽所有端口 [root@controller ~]# systemctl enable --now memcached.service [root@controller ~]# netstat -antlp|grep :11211 tcp 0 0 0.0.0.0:11211 0.0.0.0:* LISTEN 17596/memcached tcp6 0 0 :::11211 :::* LISTEN 17596/memcached

2.認(rèn)證服務(wù)

2.1 安裝和配置

1)先決條件

##創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)

[root@controller ~]# mysql -u root -pwestos MariaDB [(none)]> CREATE DATABASE keystone; MariaDB [(none)]> GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'localhost' \-> IDENTIFIED BY 'keystone'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON keystone.* TO 'keystone'@'%' \-> IDENTIFIED BY 'keystone';

###生成一個(gè)隨機(jī)值在初始的配置中作為管理員的令牌token

[root@controller ~]# openssl rand -hex 10 0c933701b5bf4cbc08f1

2)安全并配置組件

[root@controller ~]# yum install openstack-keystone httpd mod_wsgi -y [root@controller ~]# grep -v ^# /etc/keystone/keystone.conf |uniq [root@controller ~]# vim /etc/keystone/keystone.conf ##定義初始管理令牌的值 [DEFAULT] admin_token = 0c933701b5bf4cbc08f1 ##配置數(shù)據(jù)庫(kù)訪問 [database] connection = mysql+pymysql://keystone:keystone@controller/keystone ##配置Fernet UUID令牌的提供者 [token] provider = fernet##初始化身份認(rèn)證服務(wù)的數(shù)據(jù)庫(kù) [root@controller ~]# su -s /bin/sh -c "keystone-manage db_sync" keystone##這里的keystone是系統(tǒng)用戶,還有一個(gè)mysql用戶keystone [root@controller ~]# id keystone uid=163(keystone) gid=163(keystone) groups=163(keystone)[root@controller ~]# mysql -pwestos MariaDB [(none)]> use keystone MariaDB [keystone]> show tables;##初始化Fernet keys [root@controller ~]# keystone-manage fernet_setup --keystone-user keystone --keystone-group keystone [root@controller ~]# cd /etc/keystone/ [root@controller keystone]# ll drwx------ 2 keystone keystone 24 May 1 11:36 fernet-keys

3)配置 Apache HTTP 服務(wù)器

[root@controller ~]# vim /etc/httpd/conf/httpd.conf ServerName controller [root@controller ~]# vim /etc/httpd/conf.d/wsgi-keystone.conf [root@controller ~]# cat /etc/httpd/conf.d/wsgi-keystone.conf Listen 5000##普通用戶 Listen 35357##admin<VirtualHost *:5000>WSGIDaemonProcess keystone-public processes=5 threads=1 user=keystone group=keystone display-name=%{GROUP}WSGIProcessGroup keystone-publicWSGIScriptAlias / /usr/bin/keystone-wsgi-publicWSGIApplicationGroup %{GLOBAL}WSGIPassAuthorization OnErrorLogFormat "%{cu}t %M"ErrorLog /var/log/httpd/keystone-error.logCustomLog /var/log/httpd/keystone-access.log combined<Directory /usr/bin>Require all granted</Directory> </VirtualHost><VirtualHost *:35357>WSGIDaemonProcess keystone-admin processes=5 threads=1 user=keystone group=keystone display-name=%{GROUP}WSGIProcessGroup keystone-adminWSGIScriptAlias / /usr/bin/keystone-wsgi-adminWSGIApplicationGroup %{GLOBAL}WSGIPassAuthorization OnErrorLogFormat "%{cu}t %M"ErrorLog /var/log/httpd/keystone-error.logCustomLog /var/log/httpd/keystone-access.log combined<Directory /usr/bin>Require all granted</Directory> </VirtualHost>[root@controller ~]# systemctl enable --now httpd.service [root@controller ~]# netstat -antlp tcp6 0 0 :::35357 :::* LISTEN 17916/httpd

2.2 創(chuàng)建服務(wù)實(shí)體和API端點(diǎn)

身份認(rèn)證服務(wù)提供服務(wù)的目錄和他們的位置。每個(gè)你添加到OpenStack環(huán)境中的服務(wù)在目錄中需要一個(gè) service 實(shí)體和一些 API endpoints 。
###api端點(diǎn)的連接:外部public、內(nèi)部internal、管理員admin

[root@controller ~]# export OS_TOKEN=0c933701b5bf4cbc08f1#配置認(rèn)證令牌 [root@controller ~]# export OS_URL=http://controller:35357/v3#配置端點(diǎn)URL [root@controller ~]# export OS_IDENTITY_API_VERSION=3#配置認(rèn)證 API 版本 #在你的Openstack環(huán)境中,認(rèn)證服務(wù)管理服務(wù)目錄。服務(wù)使用這個(gè)目錄來決定您的環(huán)境中可用的服務(wù)。 #創(chuàng)建服務(wù)實(shí)體和身份認(rèn)證服務(wù) [root@controller ~]# openstack service create \ > --name keystone --description "OpenStack Identity" ident^Cy [root@controller ~]# openstack service create \ > --name keystone --description "OpenStack Identity" identity [root@controller ~]# openstack service list +----------------------------------+----------+----------+ | ID | Name | Type | +----------------------------------+----------+----------+ | 5232fb6e30374396ba3a236b11e2a8ee | keystone | identity | +----------------------------------+----------+----------+ [root@controller ~]# openstack service --help 身份認(rèn)證服務(wù)管理了一個(gè)與您環(huán)境相關(guān)的 API 端點(diǎn)的目錄。服務(wù)使用這個(gè)目錄來決定如何與您環(huán)境中的其他服務(wù)進(jìn)行通信。 ##創(chuàng)建認(rèn)證服務(wù)的 API 端點(diǎn) [root@controller ~]# openstack endpoint create --region RegionOne \ > identity public http://controller:5000/v3 [root@controller ~]# openstack endpoint create --region RegionOne \ > identity internal http://controller:5000/v3 [root@controller ~]# openstack endpoint create --region RegionOne \ > identity admin http://controller:35357/v3

2.3 創(chuàng)建域、項(xiàng)目、用戶和角色

##創(chuàng)建域``default` [root@controller ~]# openstack domain create --description "Default Domain" default ##創(chuàng)建 admin 項(xiàng)目 [root@controller ~]# openstack project create --domain default \ > --description "Admin Project" admin ##創(chuàng)建 admin 用戶 [root@controller ~]# openstack user create --domain default --password admin admin ##創(chuàng)建 admin 角色 [root@controller ~]# openstack role create admin ##添加``admin`` 角色到 admin 項(xiàng)目和用戶上 [root@controller ~]# openstack role add --project admin --user admin admin##創(chuàng)建``service``項(xiàng)目: [root@controller ~]# openstack project create --domain default \ > --description "Service Project" service #創(chuàng)建``demo`` 項(xiàng)目 [root@controller ~]# openstack project create --domain default \ > --description "Demo Project" demo [root@controller ~]# openstack user create --domain default --password demo demo[root@controller ~]# openstack role create user [root@controller ~]# openstack role add --project demo --user demo user

2.3 驗(yàn)證操作

[root@controller ~]# unset OS_TOKEN OS_URL [root@controller ~]# openstack --os-auth-url http://controller:35357/v3 \ > --os-project-domain-name default --os-user-domain-name default \ > --os-project-name admin --os-username admin token issue Password: admin [root@controller ~]# openstack --os-auth-url http://controller:5000/v3 \ > --os-project-domain-name default --os-user-domain-name default \ > --os-project-name demo --os-username demo token issue Password: demo

2.4 創(chuàng)建 OpenStack 客戶端環(huán)境腳本

[root@controller ~]# vim admin-openrc [root@controller ~]# cat admin-openrc export OS_PROJECT_DOMAIN_NAME=default export OS_USER_DOMAIN_NAME=default export OS_PROJECT_NAME=admin export OS_USERNAME=admin export OS_PASSWORD=admin export OS_AUTH_URL=http://controller:35357/v3 export OS_IDENTITY_API_VERSION=3 export OS_IMAGE_API_VERSION=2[root@controller ~]# vim demo-openrc [root@controller ~]# cat demo-openrc export OS_PROJECT_DOMAIN_NAME=default export OS_USER_DOMAIN_NAME=default export OS_PROJECT_NAME=demo export OS_USERNAME=demo export OS_PASSWORD=demo export OS_AUTH_URL=http://controller:5000/v3 export OS_IDENTITY_API_VERSION=3 export OS_IMAGE_API_VERSION=2[root@controller ~]# source admin-openrc [root@controller ~]# openstack user list +----------------------------------+-------+ | ID | Name | +----------------------------------+-------+ | 40f72c8ca6e849d18dc4ea61f4caff03 | demo | | 909c05b0de4e47f48edf41b547dc1058 | admin | +----------------------------------+-------+ [root@controller ~]# openstack project list +----------------------------------+---------+ | ID | Name | +----------------------------------+---------+ | 3bcddbdc48bc4de5889a9b3385e886f1 | admin | | 632e549039cc4a5d9bb68eca19807845 | service | | 7279bbbaa2cc482f8b02e879b1ffe378 | demo | +----------------------------------+---------+ [root@controller ~]# source demo-openrc##沒權(quán)限 [root@controller ~]# openstack user list You are not authorized to perform the requested action: identity:list_users (HTTP 403) (Request-ID: req-f4c91ca1-afa1-4392-a1c6-bb7db0e3467e) [root@controller ~]# openstack project list You are not authorized to perform the requested action: identity:list_projects (HTTP 403) (Request-ID: req-c0b9b96e-d430-4ea6-8701-178a7dda995c) [root@controller ~]# source admin-openrc

3 鏡像服務(wù)

3.1 安裝和配置

創(chuàng)建 glance 數(shù)據(jù)庫(kù),對(duì)``glance``數(shù)據(jù)庫(kù)授予恰當(dāng)?shù)臋?quán)限 [root@controller ~]# mysql -pwestos MariaDB [(none)]> CREATE DATABASE glance; MariaDB [(none)]> GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'localhost' \-> IDENTIFIED BY 'glance'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'%' IDENTIFIED BY 'glance';創(chuàng)建 glance 用戶 [root@controller ~]# openstack user create --domain default --password glance glance 添加 admin 角色到 glance 用戶和 service 項(xiàng)目上 [root@controller ~]# openstack role add --project service --user glance admin [root@controller ~]# openstack service create --name glance \ > --description "OpenStack Image" image #創(chuàng)建鏡像服務(wù)的 API 端點(diǎn) [root@controller ~]# openstack endpoint create --region RegionOne \ > image public http://controller:9292 [root@controller ~]# openstack endpoint create --region RegionOne \ > image internal http://controller:9292 [root@controller ~]# openstack endpoint create --region RegionOne \ > image admin http://controller:9292

3.2 安全并配置組件

[root@controller ~]# yum install openstack-glance -y [root@controller ~]# vim /etc/glance/glance-api.conf [database] connection = mysql+pymysql://glance:glance@controller/glance[keystone_authtoken] uth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = glance password = glance[paste_deploy] flavor = keystone[glance_store] stores = file,http default_store = file filesystem_store_datadir = /var/lib/glance/images/[root@controller ~]# vim /etc/glance/glance-registry.conf [database] connection = mysql+pymysql://glance:glance@controller/glance[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = glance password = glance[paste_deploy] flavor = keystone[root@controller ~]# su -s /bin/sh -c "glance-manage db_sync" glance [root@controller ~]# systemctl enable --now openstack-glance-api.service openstack-glance-registry.service

3.3 驗(yàn)證操作

[root@controller ~]# wget http://download.cirros-cloud.net/0.3.4/cirros-0.3.4-x86_64-disk.img [root@controller ~]# ls##下載鏡像 cirros-0.4.0-x86_64-disk.img ##使用 QCOW2 磁盤格式, bare 容器格式上傳鏡像到鏡像服務(wù)并設(shè)置公共可見,這樣所有的項(xiàng)目都可以訪問它 [root@controller ~]# openstack image create "cirros" \ > --file cirros-0.4.0-x86_64-disk.img \ > --disk-format qcow2 --container-format bare \ > --public[root@controller ~]# openstack image list +--------------------------------------+--------+--------+ | ID | Name | Status | +--------------------------------------+--------+--------+ | b6822af6-9d93-44e9-99a2-a19017f3ad20 | cirros | active | +--------------------------------------+--------+--------+ [root@controller ~]# ls /var/lib/glance/images/ b6822af6-9d93-44e9-99a2-a19017f3ad20

4.計(jì)算服務(wù)nova

4.1 安裝并配置控制節(jié)點(diǎn)

[root@controller ~]# mysql -pwestos MariaDB [(none)]> CREATE DATABASE nova_api; MariaDB [(none)]> CREATE DATABASE nova; MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'localhost' IDENTIFIED BY 'nova'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'%' IDENTIFIED BY 'nova'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'localhost' IDENTIFIED BY 'nova'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'%' IDENTIFIED BY 'nova'; [root@controller ~]# openstack user create --domain default --password nova nova[root@controller ~]# openstack role add --project service --user nova admin ##創(chuàng)建 nova 服務(wù)實(shí)體 [root@controller ~]# openstack service create --name nova --description "OpenStack Compute" compute##創(chuàng)建 Compute 服務(wù) API 端點(diǎn) 3個(gè) [root@controller ~]# openstack endpoint create --region RegionOne \ > compute public http://controller:8774/v2.1/%\(tenant_id\)s [root@controller ~]# openstack endpoint create --region RegionOne \ > compute internal http://controller:8774/v2.1/%\(tenant_id\)s [root@controller ~]# openstack endpoint create --region RegionOne \ > compute admin http://controller:8774/v2.1/%\(tenant_id\)s

###安全并配置組件

[root@controller ~]# yum install openstack-nova-api openstack-nova-conductor \ > openstack-nova-console openstack-nova-novncproxy \ > openstack-nova-scheduler -y[root@controller ~]# vim /etc/nova/nova.conf [DEFAULT] enabled_apis = osapi_compute,metadata rpc_backend = rabbit auth_strategy = keystone my_ip = 172.25.3.1 use_neutron = True firewall_driver = nova.virt.firewall.NoopFirewallDriver[api_database] connection = mysql+pymysql://nova:nova@controller/nova_api[database] connection = mysql+pymysql://nova:nova@controller/nova[oslo_messaging_rabbit] rabbit_host = controller rabbit_userid = openstack rabbit_password = openstack[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = nova password = nova[vnc] vncserver_listen = $my_ip vncserver_proxyclient_address = $my_ip[glance] api_servers = http://controller:9292[oslo_concurrency] lock_path = /var/lib/nova/tmp[root@controller ~]# su -s /bin/sh -c "nova-manage api_db sync" nova [root@controller ~]# su -s /bin/sh -c "nova-manage db sync" nova [root@controller ~]# systemctl enable openstack-nova-api.service \ > openstack-nova-consoleauth.service openstack-nova-scheduler.service \ > openstack-nova-conductor.service openstack-nova-novncproxy.service [root@controller ~]# systemctl start openstack-nova-api.service \ > openstack-nova-consoleauth.service openstack-nova-scheduler.service \ > openstack-nova-conductor.service openstack-nova-novncproxy.service

4.2 安裝并配置計(jì)算節(jié)點(diǎn)

###新建一個(gè)快照server2,內(nèi)存2048,兩個(gè)虛擬網(wǎng)卡,2個(gè)CPU,模式是直通host-passthrough

1)計(jì)算節(jié)點(diǎn)server2環(huán)境部署

%%%網(wǎng)絡(luò)
[root@server2 ~]# ip addr
[root@server2 ~]# cd /etc/sysconfig/network-scripts/
[root@server2 network-scripts]# cp ifcfg-eth0 ifcfg-eth1
[root@server2 network-scripts]# vim ifcfg-eth1
[root@server2 network-scripts]# cat ifcfg-eth1
BOOTPROTO=none
DEVICE=eth1
ONBOOT=yes
[root@server2 network-scripts]# ifup eth1##啟動(dòng)eth1
[root@server2 network-scripts]# ip addr show eth1
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

[root@compute1 ~]# hosnamectl set-hostname compute1

%%%解析
[root@compute1 ~]# vim /etc/hosts
172.25.3.1 controller
172.25.3.2 compute1
172.25.3.3 block1

%%%%時(shí)間同步
[root@compute1 ~]# yum install -y chrony
[root@controller ~]# vim /etc/chrony.conf
##第三行添加
server 172.25.3.250 iburst
[root@compute1 ~]# systemctl enable --now chronyd
[root@controller ~]# scp /etc/yum.repos.d/openstack.repo compute1:/etc/yum.repos.d/openstack.repo

2)安裝和配置計(jì)算節(jié)點(diǎn)

[root@compute1 ~]# yum install openstack-nova-compute -y [root@compute1 ~]# vim /etc/nova/nova.conf [DEFAULT] rpc_backend = rabbit auth_strategy = keystone my_ip = 172.25.3.2 use_neutron = True firewall_driver = nova.virt.firewall.NoopFirewallDriver[oslo_messaging_rabbit] rabbit_host = controller rabbit_userid = openstack rabbit_password = openstack[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = nova password = nova[vnc] enabled = True vncserver_listen = 0.0.0.0 vncserver_proxyclient_address = $my_ip novncproxy_base_url = http://controller:6080/vnc_auto.html[glance] api_servers = http://controller:9292[oslo_concurrency] lock_path = /var/lib/nova/tmp

3)驗(yàn)證操作

[root@compute1 ~]# egrep -c '(vmx|svm)' /proc/cpuinfo 2 [root@compute1 ~]# systemctl enable --now libvirtd.service openstack-nova-compute.service [root@controller ~]# openstack compute service list##都是up

5.Networking 服務(wù)

5.1 安裝并配置控制節(jié)點(diǎn)

[root@controller ~]# mysql -pwestos MariaDB [(none)]> CREATE DATABASE neutron; MariaDB [(none)]> GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'localhost' IDENTIFIED BY 'neutron'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON neutron.* TO 'neutron'@'%' IDENTIFIED BY 'neutron';[root@controller ~]# openstack user create --domain default --password neutron neutron [root@controller ~]# openstack role add --project service --user neutron admin[root@controller ~]# openstack service create --name neutron \ > --description "OpenStack Networking" network##創(chuàng)建網(wǎng)絡(luò)服務(wù)API端點(diǎn) [root@controller ~]# openstack endpoint create --region RegionOne \ > network public http://controller:9696 [root@controller ~]# openstack endpoint create --region RegionOne \ > network internal http://controller:9696 [root@controller ~]# openstack endpoint create --region RegionOne \ > network admin http://controller:9696

5.2 網(wǎng)絡(luò)選項(xiàng)1:公共網(wǎng)絡(luò)

[root@controller ~]# yum install openstack-neutron openstack-neutron-ml2 \ > openstack-neutron-linuxbridge ebtables -y %配置服務(wù)組件 [root@controller ~]# vim /etc/neutron/neutron.conf [database] connection = mysql+pymysql://neutron:neutron@controller/neutron[DEFAULT] core_plugin = ml2 service_plugins = rpc_backend = rabbit auth_strategy = keystone notify_nova_on_port_status_changes = True notify_nova_on_port_data_changes = True[oslo_messaging_rabbit] rabbit_host = controller rabbit_userid = openstack rabbit_password = openstack[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = neutron password = neutron[nova] auth_url = http://controller:35357 auth_type = password project_domain_name = default user_domain_name = default region_name = RegionOne project_name = service username = nova password = nova[oslo_concurrency] lock_path = /var/lib/neutron/tmp

%配置 Modular Layer 2 (ML2) 插件

[root@controller ~]# vim /etc/neutron/plugins/ml2/ml2_conf.ini [ml2] type_drivers = flat,vlan tenant_network_types = mechanism_drivers = linuxbridge extension_drivers = port_security[ml2_type_flat] flat_networks = provider[securitygroup] enable_ipset = True%配置Linuxbridge代理[root@controller ~]# vim /etc/neutron/plugins/ml2/linuxbridge_agent.ini [linux_bridge] physical_interface_mappings = provider:eth1[vxlan] enable_vxlan = False[securitygroup] enable_security_group = True firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver%配置DHCP代理 [root@controller ~]# vim /etc/neutron/dhcp_agent.ini [DEFAULT] interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq enable_isolated_metadata = True

5.3 繼續(xù)配置控制節(jié)點(diǎn)

%配置元數(shù)據(jù)代理

[root@controller ~]# vim /etc/neutron/metadata_agent.ini [DEFAULT] nova_metadata_ip = controller metadata_proxy_shared_secret = westos

%為計(jì)算節(jié)點(diǎn)配置網(wǎng)絡(luò)服務(wù)

[root@controller ~]# vim /etc/nova/nova.conf [neutron] url = http://controller:9696 auth_url = http://controller:35357 auth_type = password project_domain_name = default user_domain_name = default region_name = RegionOne project_name = service username = neutron password = neutronservice_metadata_proxy = True metadata_proxy_shared_secret = westos[root@controller ~]# ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini 同步數(shù)據(jù)庫(kù) [root@controller ~]# su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron[root@controller ~]# systemctl restart openstack-nova-api.service [root@controller ~]# systemctl enable --now neutron-server.service neutron-linuxbridge-agent.service neutron-dhcp-agent.service neutron-metadata-agent.service

5.4 安裝和配置計(jì)算節(jié)點(diǎn)

[root@compute1 ~]# yum install openstack-neutron-linuxbridge ebtables ipset -y%配置通用組件 [root@compute1 ~]# vim /etc/neutron/neutron.conf [DEFAULT] rpc_backend = rabbit auth_strategy = keystone[oslo_messaging_rabbit] rabbit_host = controller rabbit_userid = openstack rabbit_password = openstack[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = neutron password = neutron[oslo_concurrency] lock_path = /var/lib/neutron/tmp

5.5 網(wǎng)絡(luò)選項(xiàng)1:公共網(wǎng)絡(luò)

%配置Linuxbridge代理

[root@compute1 ~]# vim /etc/neutron/plugins/ml2/linuxbridge_agent.ini [linux_bridge] physical_interface_mappings = provider:eth1[vxlan] enable_vxlan = False[securitygroup] enable_security_group = True firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

5.6 繼續(xù)配置計(jì)算節(jié)點(diǎn)

%為計(jì)算節(jié)點(diǎn)配置網(wǎng)絡(luò)服務(wù)

[root@compute1 ~]# vim /etc/nova/nova.conf [neutron] url = http://controller:9696 auth_url = http://controller:35357 auth_type = password project_domain_name = default user_domain_name = default region_name = RegionOne project_name = service username = neutron password = neutron[root@compute1 ~]# systemctl restart openstack-nova-compute.service [root@compute1 ~]# systemctl enable --now neutron-linuxbridge-agent.service

5.7 驗(yàn)證操作

[root@controller ~]# neutron agent-list

輸出結(jié)果應(yīng)該包括控制節(jié)點(diǎn)上的三個(gè)代理和每個(gè)計(jì)算節(jié)點(diǎn)上的一個(gè)代理

6.啟動(dòng)一個(gè)實(shí)例

1)提供者網(wǎng)絡(luò)

%創(chuàng)建提供者網(wǎng)絡(luò)

[root@controller ~]# neutron net-create --shared --provider:physical_network provider \ > --provider:network_type flat provider [root@controller ~]# neutron subnet-create --name provider --allocation-pool start=172.25.3.100,end=172.25.3.200 --dns-nameserver 114.114.114.114 --gateway 172.25.3.250 provider 172.25.3.0/24

下面繼續(xù)啟動(dòng)一個(gè)實(shí)例

2)創(chuàng)建m1.nano規(guī)格的主機(jī)

[root@controller ~]# openstack flavor create --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano [root@controller ~]# openstack flavor list +----+-----------+-------+------+-----------+-------+-----------+ | ID | Name | RAM | Disk | Ephemeral | VCPUs | Is Public | +----+-----------+-------+------+-----------+-------+-----------+ | 0 | m1.nano | 64 | 1 | 0 | 1 | True | | 1 | m1.tiny | 512 | 1 | 0 | 1 | True | | 2 | m1.small | 2048 | 20 | 0 | 1 | True | | 3 | m1.medium | 4096 | 40 | 0 | 2 | True | | 4 | m1.large | 8192 | 80 | 0 | 4 | True | | 5 | m1.xlarge | 16384 | 160 | 0 | 8 | True | +----+-----------+-------+------+-----------+-------+-----------+

3)生成一個(gè)鍵值對(duì)

[root@controller ~]# source demo-openrc [root@controller ~]# ssh-keygen -q -N "" [root@controller ~]# openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey## [root@controller ~]# openstack keypair list

4)增加安全組規(guī)則

[root@controller ~]# openstack security group rule create --proto icmp default [root@controller ~]# openstack security group rule create --proto tcp --dst-port 22 default

5)啟動(dòng)一個(gè)實(shí)例

[root@controller ~]# openstack image list +--------------------------------------+--------+--------+ | ID | Name | Status | +--------------------------------------+--------+--------+ | b6822af6-9d93-44e9-99a2-a19017f3ad20 | cirros | active | +--------------------------------------+--------+--------+ [root@controller ~]# openstack network list +-------------------------------------+----------+--------------------------------------+ | ID | Name | Subnets | +-------------------------------------+----------+--------------------------------------+ | 3d677349-45f9-4509-a307-8477dd630d8 | provider | 0405e3ce-700f-4fe4-9606-e70aeea2a6ac | | 1 | | | +-------------------------------------+----------+--------------------------------------+ [root@controller ~]# openstack security group list +-------------------------+---------+------------------------+-------------------------+ | ID | Name | Description | Project | +-------------------------+---------+------------------------+-------------------------+ | eca05701-794e- | default | Default security group | 7279bbbaa2cc482f8b02e87 | | 41d6-bb65-fa062e1272d8 | | | 9b1ffe378 | +-------------------------+---------+------------------------+-------------------------+

[root@controller ~]# openstack server create --flavor m1.tiny --image cirros --nic net-id=3d677349-45f9-4509-a307-8477dd630d81 --security-group default --key-name mykey provider-instance檢查實(shí)例的狀態(tài) [root@controller ~]# openstack server list

[root@controller ~]# openstack console url show provider-instance +-------+---------------------------------------------------------------------------------+ | Field | Value | +-------+---------------------------------------------------------------------------------+ | type | novnc | | url | http://controller:6080/vnc_auto.html?token=cbc719a4-5ea9-4502-b7c9-b9fbe2549f71 | +-------+---------------------------------------------------------------------------------+[root@zhenji ~]# vim /etc/hosts 172.25.3.1 controller

網(wǎng)頁訪問http://controller:6080/vnc_auto.html?token=cbc719a4-5ea9-4502-b7c9-b9fbe2549f71
##虛擬機(jī)界面,用戶cirros,密碼gocubsgo
此時(shí)云主機(jī)框架部署成功

[root@controller ~]# ssh cirros@172.25.3.101##普通用戶連接 $ ip addrinet 172.25.3.101/24 brd 172.25.3.255 scope global eth0

7.dashboard可視化界面

7.1 安全并配置組件

[root@controller ~]# yum install openstack-dashboard -y [root@controller ~]# vim /etc/openstack-dashboard/local_settings OPENSTACK_HOST = "controller" OPENSTACK_KEYSTONE_URL = "http://%s:5000/v3" % OPENSTACK_HOST OPENSTACK_KEYSTONE_DEFAULT_ROLE = "user"ALLOWED_HOSTS = ['*', ]#CACHES = { # 'default': { # 'BACKEND': 'django.core.cache.backends.locmem.LocMemCache', # }, #} SESSION_ENGINE = 'django.contrib.sessions.backends.cache' CACHES = {'default': {'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache','LOCATION': 'controller:11211',} }OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = True#OPENSTACK_API_VERSIONS = { # "data-processing": 1.1, # "identity": 3, # "volume": 2, # "compute": 2, #} OPENSTACK_API_VERSIONS = {"identity": 3,"image": 2,"volume": 2, }OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = 'default'OPENSTACK_NEUTRON_NETWORK = {'enable_router': False,'enable_quotas': False,'enable_ipv6': False,'enable_distributed_router': False,'enable_ha_router': False,'enable_lb': False,'enable_firewall': False,'enable_vpn': False,'enable_fip_topology_check': False,TIME_ZONE = "Asia/Shanghai"[root@controller ~]# systemctl restart httpd.service memcached.service

7.2 驗(yàn)證操作

網(wǎng)頁訪問http://controller/dashboard

網(wǎng)頁操作:刪除、創(chuàng)建云主機(jī)步驟

  • 1)Domain(域):default;user:demo;passwd:demo普通用戶登陸,先刪除云主機(jī)

  • 2)設(shè)置中文

  • 3)Domain(域):default;user:demo;passwd:demo,普通用戶登陸,先刪除云主機(jī)
  • 4)Domain(域):default;user:admin;passwd:admin管理員登陸,刪除子網(wǎng),再刪除網(wǎng)絡(luò)

  • 5)管理員登陸,創(chuàng)建網(wǎng)絡(luò),創(chuàng)建子網(wǎng)

  • 6)普通用戶登陸創(chuàng)建云主機(jī)




8 dashboard可視化界面添加私有網(wǎng)絡(luò)配置

8.1 控制節(jié)點(diǎn)->網(wǎng)絡(luò)選項(xiàng)2:私有網(wǎng)絡(luò)

%配置服務(wù)組件

[root@controller ~]# vim /etc/neutron/neutron.conf [DEFAULT] service_plugins = router allow_overlapping_ips = True

%配置 Modular Layer 2 (ML2) 插件
ML2插件使用Linuxbridge機(jī)制來為實(shí)例創(chuàng)建layer-2虛擬網(wǎng)絡(luò)基礎(chǔ)設(shè)施

[root@controller ~]# vim /etc/neutron/plugins/ml2/ml2_conf.ini [ml2] type_drivers = flat,vlan,vxlan tenant_network_types = vxlan mechanism_drivers = linuxbridge,l2population[ml2_type_vxlan] vni_ranges = 1:1000

%配置Linuxbridge代理
Linuxbridge代理為實(shí)例建立layer-2虛擬網(wǎng)絡(luò)并且處理安全組規(guī)則

[root@controller ~]# vim /etc/neutron/plugins/ml2/linuxbridge_agent.ini [vxlan] enable_vxlan = True local_ip = 172.25.3.1 l2_population = True

%配置layer-3代理
##Layer-3代理為私有虛擬網(wǎng)絡(luò)提供路由和NAT服務(wù)

[root@controller ~]# vim /etc/neutron/l3_agent.ini [DEFAULT] interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver external_network_bridge =[root@controller ~]# systemctl restart neutron-server.service neutron-linuxbridge-agent.service [root@controller ~]# systemctl enable --now neutron-l3-agent.service

8.2 計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)選項(xiàng)2:私有網(wǎng)絡(luò)

%配置Linuxbridge代理

[root@compute1 ~]# vim /etc/neutron/plugins/ml2/linuxbridge_agent.ini [vxlan] enable_vxlan = True local_ip = 172.25.3.2 l2_population = True[root@compute1 ~]# systemctl restart neutron-linuxbridge-agent.service [root@controller ~]# vim /etc/openstack-dashboard/local_settings OPENSTACK_NEUTRON_NETWORK = {'enable_router': True,'enable_quotas': True,'enable_ipv6': True,'enable_distributed_router': True,'enable_ha_router': True,'enable_lb': True,'enable_firewall': True,'enable_vpn': True,'enable_fip_topology_check': True,[root@controller ~]# systemctl restart httpd memcached

網(wǎng)頁操作:

  • 網(wǎng)頁訪問http://controller/dashboard,管理員admin登陸:網(wǎng)絡(luò):編輯網(wǎng)絡(luò)->勾選外部網(wǎng)絡(luò)

  • 網(wǎng)頁訪問http://controller/dashboard,demo登陸:網(wǎng)絡(luò):創(chuàng)建網(wǎng)絡(luò)private


  • 創(chuàng)建云主機(jī)



  • 路由:新建路由
  • 增加路由接口

  • 控制臺(tái)查看網(wǎng)絡(luò)通不通

此時(shí)10.0.0.3能ping通172.25.3.101,但172.25.3.101不能ping通10.0.0.3,需要在vm2中管理浮動(dòng)IP:點(diǎn)+號(hào)申請(qǐng)合法ip分配ip,此時(shí)便能ping通浮動(dòng)ip,浮動(dòng)ip連接的就是10.0.0.3
點(diǎn)+號(hào)分配ip



[root@controller ~]# ssh cirros@172.25.3.103 $ ip addrinet 10.0.0.3/24 brd 10.0.0.255 scope global eth0[root@zhenji ~]# which virsh /usr/bin/virsh [root@zhenji ~]# rpm -qf /usr/bin/virsh libvirt-client-4.5.0-42.module+el8.2.0+6024+15a2423f.x86_64 [root@compute1 ~]# yum install -y libvirt-client [root@compute1 ~]# virsh listId Name State ----------------------------------------------------2 instance-00000002 running3 instance-00000003 running

9.鏡像服務(wù)

https://docs.openstack.org/image-guide/centos-image.html

9.1 安裝虛擬機(jī)






手動(dòng)分區(qū),全部分在根下


關(guān)掉selinux


連接新建虛擬機(jī)localhost [root@localhost ~]# vi /etc/yum.repos.d/dvd.repo [root@localhost ~]# cat /etc/yum.repos.d/dvd.repo [dvd] name=rhel7.6 baseurl=http://172.25.3.250/rhel7.6 gpgcheck=0 [root@localhost ~]# vi /etc/yum.repos.d/dvd.repo [root@localhost ~]# yum repolisthttps://docs.openstack.org/image-guide/centos-image.html [root@localhost ~]# yum install acpid -y [root@localhost ~]# systemctl enable acpid[root@zhenji isos]# cd /var/www/html/ [root@zhenji html]# ls 4.0 docker.repo image rhel7 small.qcow2 upload docker-ce get-docker.sh mitaka rhel7.6 softare_packages westos [root@zhenji html]# lftp 172.25.254.250 lftp 172.25.254.250:~> cd pub/cloud-init/ lftp 172.25.254.250:/pub/cloud-init> ls drwxr-xr-x 3 0 0 4096 Mar 16 2018 rhel6 drwxr-xr-x 3 0 0 4096 Mar 16 2018 rhel7 lftp 172.25.254.250:/pub/cloud-init> mirror rhel7 Total: 1 directory, 34 files, 0 symlinks lftp 172.25.254.250:/pub/cloud-init> exit [root@zhenji html]# ls 4.0 docker.repo image rhel7 [root@localhost ~]# vi /etc/yum.repos.d/cloud.repo [root@localhost ~]# cat /etc/yum.repos.d/cloud.repo [cloud] name=cloud-init baseurl=http://172.25.3.250/rhel7 gpgcheck=0 [root@localhost ~]# yum install -y cloud-init cloud-utils-growpart [root@localhost cloud]# echo "NOZEROCONF=yes" >> /etc/sysconfig/network[root@localhost cloud]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO=dhcp DEVICE=eth0 ONBOOT=tes [root@localhost cloud]# poweroff##清理,壓縮, [root@zhenji html]# cd /var/lib/libvirt/images/ [root@zhenji images]# ls small.qcow2 [root@zhenji images]# virt-sysprep -d small [root@zhenji images]# du -h small.qcow2 5.1G small.qcow2 [root@zhenji images]# virt-sparsify --compress small.qcow2 /var/www/html/small.qcow2

9.2 上傳鏡像

網(wǎng)頁訪問http://controller/dashboard,管理員admin登陸:鏡像:創(chuàng)建鏡像->云主機(jī)類型:創(chuàng)建云主機(jī)類型


網(wǎng)頁訪問http://controller/dashboard,管理員demo登陸:創(chuàng)建云主機(jī)






啟動(dòng)主機(jī)->控制臺(tái):root登陸,查看ip,根被拉伸到10G

10.塊存儲(chǔ)服務(wù)

10.1 先決條件

##新建server3,hostname=block1,添加一個(gè)10G的硬盤

[root@block1 ~]# vim /etc/hosts [root@block1 ~]# cat /etc/hosts 172.25.3.1 controller 172.25.3.2 compute1 172.25.3.3 block1[root@controller ~]# scp /etc/yum.repos.d/openstack.repo block1:/etc/yum.repos.d/openstack.repo ##時(shí)間同步 [root@block1 ~]# yum install chrony -y [root@block1 ~]# vim /etc/chrony.conf server 172.25.3.250 iburst [root@block1 ~]# systemctl enable --now chronyd[root@controller ~]# mysql -pwestos MariaDB [(none)]> CREATE DATABASE cinder; MariaDB [(none)]> GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' \-> IDENTIFIED BY 'cinder'; MariaDB [(none)]> GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' IDENTIFIED BY 'cinder';

10.2 安裝并配置控制節(jié)點(diǎn)

%要?jiǎng)?chuàng)建服務(wù)證書 [root@controller ~]# openstack user create --domain default --password cinder cinder [root@controller ~]# openstack role add --project service --user cinder admin [root@controller ~]# openstack service create --name cinder \--description "OpenStack Block Storage" volume[root@controller ~]# openstack service create --name cinderv2 \--description "OpenStack Block Storage" volumev2%創(chuàng)建塊設(shè)備存儲(chǔ)服務(wù)的 API 入口點(diǎn) [root@controller ~]# openstack endpoint create --region RegionOne \volume public http://controller:8776/v1/%\(tenant_id\)s [root@controller ~]# openstack endpoint create --region RegionOne \volume internal http://controller:8776/v1/%\(tenant_id\)s[root@controller ~]# openstack endpoint create --region RegionOne \volume admin http://controller:8776/v1/%\(tenant_id\)s[root@controller ~]# openstack endpoint create --region RegionOne \volumev2 public http://controller:8776/v2/%\(tenant_id\)s[root@controller ~]# openstack endpoint create --region RegionOne \volumev2 internal http://controller:8776/v2/%\(tenant_id\)s[root@controller ~]# openstack endpoint create --region RegionOne \volumev2 admin http://controller:8776/v2/%\(tenant_id\)s[root@controller ~]# yum install openstack-cinder -y[root@controller ~]# vim /etc/cinder/cinder.conf [database] connection = mysql+pymysql://cinder:cinder@controller/cinder[DEFAULT] rpc_backend = rabbit auth_strategy = keystone my_ip = 172.25.3.1[oslo_messaging_rabbit] rabbit_host = controller rabbit_userid = openstack rabbit_password = openstack[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = cinder password = cinder[oslo_concurrency] lock_path = /var/lib/cinder/tmp[root@controller ~]# su -s /bin/sh -c "cinder-manage db sync" cinder[root@controller ~]# vim /etc/nova/nova.conf [cinder] os_region_name = RegionOne [root@controller ~]# systemctl restart openstack-nova-api.service [root@controller ~]# systemctl enable --now openstack-cinder-api.service openstack-cinder-scheduler.service[root@block1 ~]# yum install lvm2 -y [root@block1 ~]# systemctl enable lvm2-lvmetad.service [root@block1 ~]# pvcreate /dev/vdb [root@block1 ~]# vgcreate cinder-volumes /dev/vdb[root@block1 ~]# vim /etc/lvm/lvm.conf# filter = [ "a|.*/|" ]filter = [ "a/vdb/","a/vdb/", "r/.*/"][root@block1 ~]# yum install openstack-cinder targetcli python-keystone -y[database] connection = mysql+pymysql://cinder:cinder@controller/cinder[DEFAULT] rpc_backend = rabbit auth_strategy = keystone my_ip = enabled_backends = lvm glance_api_servers = http://controller:9292[oslo_messaging_rabbit] rabbit_host = controller rabbit_userid = openstack rabbit_password = openstack[keystone_authtoken] auth_uri = http://controller:5000 auth_url = http://controller:35357 memcached_servers = controller:11211 auth_type = password project_domain_name = default user_domain_name = default project_name = service username = cinder password = cinder #最后添加 [lvm] volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver volume_group = cinder-volumes iscsi_protocol = iscsi iscsi_helper = lioadm[oslo_concurrency] lock_path = /var/lib/cinder/tmp[root@block1 ~]# systemctl enable --now openstack-cinder-volume.service target.service [root@controller ~]# cinder service-list

網(wǎng)頁訪問http://controller/dashboard,管理員demo登陸:創(chuàng)建云硬盤->管理以連接硬盤->vm3的控制臺(tái):
mkfs.xfs /dev/vdb
mkdir /data
mount /dev/vdb /data/
cd /data
cp /etc/* .
ls
umount /data



網(wǎng)頁訪問http://controller/dashboard,管理員demo登陸:分離剛才創(chuàng)建的云硬盤

總結(jié)

以上是生活随笔為你收集整理的openstack云计算平台的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

无码人妻久久一区二区三区不卡 | 亚洲综合色区中文字幕 | 久久99国产综合精品 | 国产精品久久久久久亚洲影视内衣 | 国产av无码专区亚洲awww | 亚洲精品国产第一综合99久久 | 亚洲熟妇色xxxxx欧美老妇y | 久久久精品456亚洲影院 | 国产又爽又黄又刺激的视频 | 免费国产成人高清在线观看网站 | 精品欧洲av无码一区二区三区 | 国产人妖乱国产精品人妖 | 亚洲爆乳精品无码一区二区三区 | 成人无码精品一区二区三区 | 久久99精品国产麻豆蜜芽 | 国产9 9在线 | 中文 | 国产午夜精品一区二区三区嫩草 | 久久精品女人天堂av免费观看 | 亚洲国产精品久久久天堂 | 欧美性黑人极品hd | 国产人妻人伦精品1国产丝袜 | 亚洲色无码一区二区三区 | 精品国产一区av天美传媒 | 成人无码视频免费播放 | 亚洲欧美国产精品专区久久 | 人人澡人人透人人爽 | 亚洲精品一区二区三区在线 | 荫蒂添的好舒服视频囗交 | 色婷婷av一区二区三区之红樱桃 | 丰满少妇弄高潮了www | 精品无人国产偷自产在线 | 午夜丰满少妇性开放视频 | 中文字幕乱码人妻二区三区 | 中文字幕日产无线码一区 | 鲁大师影院在线观看 | 精品熟女少妇av免费观看 | 少女韩国电视剧在线观看完整 | 性做久久久久久久久 | 性史性农村dvd毛片 | 色欲人妻aaaaaaa无码 | 国产成人无码专区 | 综合激情五月综合激情五月激情1 | 国产超级va在线观看视频 | 蜜桃视频韩日免费播放 | 亚洲午夜无码久久 | 精品国产乱码久久久久乱码 | 久久无码人妻影院 | 久久99精品国产.久久久久 | 无遮挡啪啪摇乳动态图 | 亚洲精品国产品国语在线观看 | 亚洲欧洲无卡二区视頻 | 性做久久久久久久久 | 日本高清一区免费中文视频 | 精品成在人线av无码免费看 | 疯狂三人交性欧美 | 欧美老人巨大xxxx做受 | 亚洲成av人片天堂网无码】 | 亚洲精品久久久久久一区二区 | 亚洲精品无码国产 | 日本精品人妻无码免费大全 | 欧美黑人性暴力猛交喷水 | 任你躁国产自任一区二区三区 | 国产精品99爱免费视频 | 免费人成在线观看网站 | 久久国产劲爆∧v内射 | 国产欧美精品一区二区三区 | 在线播放无码字幕亚洲 | 国产精品国产自线拍免费软件 | 夜先锋av资源网站 | 婷婷综合久久中文字幕蜜桃三电影 | 色一情一乱一伦一视频免费看 | 国产乱人偷精品人妻a片 | 欧美人妻一区二区三区 | 欧美人妻一区二区三区 | 午夜福利一区二区三区在线观看 | 中文亚洲成a人片在线观看 | 成人精品视频一区二区三区尤物 | 乱码午夜-极国产极内射 | 国产 精品 自在自线 | 四虎影视成人永久免费观看视频 | 国产av一区二区精品久久凹凸 | 亚洲码国产精品高潮在线 | 大地资源中文第3页 | 日韩欧美成人免费观看 | 又大又硬又黄的免费视频 | 国产成人无码av片在线观看不卡 | 色妞www精品免费视频 | 色一情一乱一伦一视频免费看 | 俺去俺来也www色官网 | 国产精品亚洲综合色区韩国 | 日韩欧美中文字幕在线三区 | 国内揄拍国内精品少妇国语 | 东京无码熟妇人妻av在线网址 | 亚洲色无码一区二区三区 | 国产午夜亚洲精品不卡 | 荡女精品导航 | 色综合天天综合狠狠爱 | 久久久中文久久久无码 | 永久黄网站色视频免费直播 | 国产午夜亚洲精品不卡下载 | 亚洲国产成人av在线观看 | 少女韩国电视剧在线观看完整 | 蜜桃无码一区二区三区 | 午夜福利试看120秒体验区 | 欧美高清在线精品一区 | 欧美熟妇另类久久久久久不卡 | 97精品国产97久久久久久免费 | 无遮无挡爽爽免费视频 | 天堂а√在线地址中文在线 | 人人妻在人人 | 欧美精品免费观看二区 | 色婷婷久久一区二区三区麻豆 | 成人女人看片免费视频放人 | 免费观看的无遮挡av | 欧美老妇交乱视频在线观看 | 成人女人看片免费视频放人 | 国产亚洲人成a在线v网站 | 日本一卡2卡3卡四卡精品网站 | 福利一区二区三区视频在线观看 | 奇米影视7777久久精品人人爽 | 欧美兽交xxxx×视频 | 国产又粗又硬又大爽黄老大爷视 | 久久亚洲中文字幕精品一区 | 中文无码精品a∨在线观看不卡 | 无遮挡国产高潮视频免费观看 | 一本久道久久综合狠狠爱 | 中文字幕av日韩精品一区二区 | 97精品人妻一区二区三区香蕉 | 野狼第一精品社区 | 蜜桃视频插满18在线观看 | 国产国产精品人在线视 | 在线欧美精品一区二区三区 | 少妇人妻大乳在线视频 | 亚洲精品综合一区二区三区在线 | 熟女少妇在线视频播放 | 国产特级毛片aaaaaaa高清 | 一本无码人妻在中文字幕免费 | 在线а√天堂中文官网 | 熟妇激情内射com | 精品熟女少妇av免费观看 | 我要看www免费看插插视频 | 久久综合久久自在自线精品自 | 熟妇激情内射com | 欧美一区二区三区 | 欧美性猛交xxxx富婆 | 在线a亚洲视频播放在线观看 | 国产手机在线αⅴ片无码观看 | 大屁股大乳丰满人妻 | 国产激情无码一区二区app | 亚洲人交乣女bbw | 中文字幕乱妇无码av在线 | 国产激情艳情在线看视频 | 欧洲熟妇色 欧美 | 免费人成网站视频在线观看 | 99国产精品白浆在线观看免费 | 国产精品亚洲五月天高清 | 免费观看激色视频网站 | 日日摸日日碰夜夜爽av | 亚洲综合伊人久久大杳蕉 | 中文字幕日产无线码一区 | 久久精品中文闷骚内射 | 精品欧美一区二区三区久久久 | 成 人 网 站国产免费观看 | 野狼第一精品社区 | 亚洲中文字幕在线无码一区二区 | 中文字幕色婷婷在线视频 | 亚洲精品一区二区三区在线观看 | 色综合久久中文娱乐网 | 国产精品亚洲五月天高清 | 麻豆精品国产精华精华液好用吗 | 亚洲一区二区三区偷拍女厕 | 在线观看国产一区二区三区 | 免费看男女做好爽好硬视频 | 天天综合网天天综合色 | 麻豆md0077饥渴少妇 | 亚洲国产精品美女久久久久 | 久久精品丝袜高跟鞋 | 99久久99久久免费精品蜜桃 | 欧洲美熟女乱又伦 | 欧美老熟妇乱xxxxx | 激情综合激情五月俺也去 | 久久久久成人精品免费播放动漫 | 亚洲国产综合无码一区 | 丝袜美腿亚洲一区二区 | 亚洲综合伊人久久大杳蕉 | 丝袜 中出 制服 人妻 美腿 | 伊人久久大香线焦av综合影院 | 天天av天天av天天透 | 欧美一区二区三区 | 蜜桃av抽搐高潮一区二区 | 日韩精品无码一区二区中文字幕 | 一本久道久久综合婷婷五月 | 亚洲а∨天堂久久精品2021 | 好男人www社区 | 55夜色66夜色国产精品视频 | 99久久久无码国产精品免费 | 国产精品久久久久久久9999 | a在线观看免费网站大全 | 精品国精品国产自在久国产87 | 全球成人中文在线 | 久久zyz资源站无码中文动漫 | 妺妺窝人体色www在线小说 | 国产精品视频免费播放 | 久久婷婷五月综合色国产香蕉 | 久久国产精品精品国产色婷婷 | 无套内射视频囯产 | 一本精品99久久精品77 | 国产特级毛片aaaaaaa高清 | 人妻少妇精品视频专区 | 亚无码乱人伦一区二区 | 国产精品人妻一区二区三区四 | 亚洲欧美日韩成人高清在线一区 | 四十如虎的丰满熟妇啪啪 | 日本在线高清不卡免费播放 | 中文字幕乱码亚洲无线三区 | 女人和拘做爰正片视频 | 久久久中文字幕日本无吗 | 女人高潮内射99精品 | 亚洲综合久久一区二区 | 精品 日韩 国产 欧美 视频 | 丰满人妻翻云覆雨呻吟视频 | 欧美激情一区二区三区成人 | 好屌草这里只有精品 | 熟妇人妻无码xxx视频 | 亚洲综合无码久久精品综合 | av无码电影一区二区三区 | 97se亚洲精品一区 | 国产精品久久久久久无码 | 精品国产麻豆免费人成网站 | 三级4级全黄60分钟 | 国产香蕉尹人视频在线 | 亚洲精品国产第一综合99久久 | 在线亚洲高清揄拍自拍一品区 | 亚洲国产成人a精品不卡在线 | 日韩视频 中文字幕 视频一区 | 欧美日本免费一区二区三区 | 精品国产乱码久久久久乱码 | 欧美国产日产一区二区 | 亚洲日本va午夜在线电影 | 亚洲成a人一区二区三区 | 久久国产精品偷任你爽任你 | 亚洲国产精品久久久天堂 | 国产精品久免费的黄网站 | 亚洲成a人一区二区三区 | 精品久久久久久亚洲精品 | 又大又黄又粗又爽的免费视频 | 亚洲狠狠色丁香婷婷综合 | 99精品视频在线观看免费 | 中文精品无码中文字幕无码专区 | 毛片内射-百度 | 亚洲欧洲日本综合aⅴ在线 | 小泽玛莉亚一区二区视频在线 | 99久久精品国产一区二区蜜芽 | 日本肉体xxxx裸交 | 精品久久久久久亚洲精品 | 99精品久久毛片a片 | 中文字幕人妻无码一夲道 | 日本va欧美va欧美va精品 | 日本大香伊一区二区三区 | 中文字幕人妻无码一夲道 | 国产深夜福利视频在线 | 色情久久久av熟女人妻网站 | 亚洲综合色区中文字幕 | 久久综合九色综合欧美狠狠 | 国产后入清纯学生妹 | 亚洲欧美综合区丁香五月小说 | 亚洲一区二区三区国产精华液 | 日本va欧美va欧美va精品 | 人人妻人人澡人人爽精品欧美 | 精品久久8x国产免费观看 | 人妻aⅴ无码一区二区三区 | 国产精品无码一区二区桃花视频 | 国产精品99久久精品爆乳 | 熟妇人妻中文av无码 | 精品国产aⅴ无码一区二区 | 亚洲国产高清在线观看视频 | 成人免费无码大片a毛片 | 色偷偷人人澡人人爽人人模 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产精品鲁鲁鲁 | 国产两女互慰高潮视频在线观看 | 日韩精品久久久肉伦网站 | 老熟女乱子伦 | 无码一区二区三区在线 | 狠狠色噜噜狠狠狠狠7777米奇 | 国产真实乱对白精彩久久 | 久久久久成人片免费观看蜜芽 | 国产av一区二区三区最新精品 | 国产乱码精品一品二品 | 亚洲成a人片在线观看无码 | 日韩欧美中文字幕公布 | 亚洲精品久久久久中文第一幕 | 性开放的女人aaa片 | 亚洲国产精品一区二区美利坚 | 国产成人综合美国十次 | 四虎国产精品免费久久 | 67194成是人免费无码 | 国产亚洲精品精品国产亚洲综合 | 娇妻被黑人粗大高潮白浆 | 97精品人妻一区二区三区香蕉 | 少妇被粗大的猛进出69影院 | 97se亚洲精品一区 | 久久综合久久自在自线精品自 | 3d动漫精品啪啪一区二区中 | 色偷偷人人澡人人爽人人模 | 日韩人妻无码中文字幕视频 | 久久国产精品偷任你爽任你 | 少妇人妻av毛片在线看 | 国产激情无码一区二区 | 久久熟妇人妻午夜寂寞影院 | 99精品无人区乱码1区2区3区 | 色综合久久88色综合天天 | 婷婷综合久久中文字幕蜜桃三电影 | 日本大香伊一区二区三区 | 亚洲国产一区二区三区在线观看 | 在线欧美精品一区二区三区 | 国产在线精品一区二区三区直播 | 亚洲无人区午夜福利码高清完整版 | 人人澡人人透人人爽 | 美女黄网站人色视频免费国产 | 精品久久久久久亚洲精品 | 亚洲一区二区三区香蕉 | 少妇被粗大的猛进出69影院 | 玩弄人妻少妇500系列视频 | 久久久久亚洲精品男人的天堂 | 无码精品人妻一区二区三区av | 国产精品无码一区二区桃花视频 | 99久久精品午夜一区二区 | 精品国偷自产在线视频 | 无遮挡啪啪摇乳动态图 | 日韩精品无码一区二区中文字幕 | 亚洲无人区午夜福利码高清完整版 | 精品国产一区二区三区四区在线看 | 丁香花在线影院观看在线播放 | 国产美女精品一区二区三区 | 亚洲国产欧美国产综合一区 | 装睡被陌生人摸出水好爽 | 永久免费精品精品永久-夜色 | 人人妻人人澡人人爽欧美精品 | 久久这里只有精品视频9 | 日本饥渴人妻欲求不满 | 天天躁夜夜躁狠狠是什么心态 | 国产成人一区二区三区别 | 国产亚洲精品精品国产亚洲综合 | 国产av久久久久精东av | 国产深夜福利视频在线 | 国产莉萝无码av在线播放 | 国产成人精品一区二区在线小狼 | 99久久人妻精品免费一区 | 国色天香社区在线视频 | 在线 国产 欧美 亚洲 天堂 | 欧美野外疯狂做受xxxx高潮 | 水蜜桃亚洲一二三四在线 | 高潮毛片无遮挡高清免费视频 | 欧美三级不卡在线观看 | 精品久久综合1区2区3区激情 | 国产精品亚洲一区二区三区喷水 | 久久精品国产99精品亚洲 | 国产va免费精品观看 | 亚洲精品国产精品乱码视色 | 亚洲精品一区二区三区大桥未久 | 亚洲成av人综合在线观看 | 亚洲综合精品香蕉久久网 | 精品国产精品久久一区免费式 | 正在播放东北夫妻内射 | 在线欧美精品一区二区三区 | 麻豆av传媒蜜桃天美传媒 | 人人超人人超碰超国产 | 久久这里只有精品视频9 | 国产精品-区区久久久狼 | 领导边摸边吃奶边做爽在线观看 | 天天躁日日躁狠狠躁免费麻豆 | 亚洲爆乳精品无码一区二区三区 | 高清无码午夜福利视频 | 国产av无码专区亚洲a∨毛片 | 色情久久久av熟女人妻网站 | 久久久精品成人免费观看 | 亚洲国产成人a精品不卡在线 | 久久精品女人天堂av免费观看 | 亚洲精品美女久久久久久久 | 亚洲精品综合五月久久小说 | 欧美亚洲日韩国产人成在线播放 | 欧美精品在线观看 | 国产精品亚洲五月天高清 | 狠狠色噜噜狠狠狠狠7777米奇 | 一本久久a久久精品vr综合 | 一二三四社区在线中文视频 | 国产成人午夜福利在线播放 | 伊人久久大香线蕉亚洲 | 亚洲 激情 小说 另类 欧美 | 免费视频欧美无人区码 | 2020最新国产自产精品 | 成人影院yy111111在线观看 | 人妻人人添人妻人人爱 | 中文字幕av伊人av无码av | 日本精品少妇一区二区三区 | 国内揄拍国内精品人妻 | 国产成人无码a区在线观看视频app | 鲁鲁鲁爽爽爽在线视频观看 | 亚洲精品综合五月久久小说 | 无码任你躁久久久久久久 | 欧美性黑人极品hd | a国产一区二区免费入口 | 国产人妻精品一区二区三区不卡 | 爽爽影院免费观看 | 少女韩国电视剧在线观看完整 | 无码毛片视频一区二区本码 | 狠狠色欧美亚洲狠狠色www | 久久 国产 尿 小便 嘘嘘 | 丰满少妇人妻久久久久久 | 久久午夜无码鲁丝片秋霞 | 中文字幕 人妻熟女 | 男女下面进入的视频免费午夜 | 色婷婷久久一区二区三区麻豆 | 国产精品毛多多水多 | 国精产品一品二品国精品69xx | 一个人看的视频www在线 | 日韩少妇白浆无码系列 | 狠狠色噜噜狠狠狠7777奇米 | 亚洲精品国产精品乱码不卡 | 丰满少妇熟乱xxxxx视频 | 最近的中文字幕在线看视频 | 熟妇人妻无码xxx视频 | 伊人久久大香线蕉av一区二区 | 欧美老妇与禽交 | 中文字幕人成乱码熟女app | 中文毛片无遮挡高清免费 | 免费看少妇作爱视频 | 亚洲中文字幕乱码av波多ji | 又黄又爽又色的视频 | 曰本女人与公拘交酡免费视频 | 中文精品久久久久人妻不卡 | 久久99精品久久久久婷婷 | 久久精品中文字幕一区 | 亚洲人成网站在线播放942 | 日日橹狠狠爱欧美视频 | 特黄特色大片免费播放器图片 | 狠狠cao日日穞夜夜穞av | 国产精品亚洲一区二区三区喷水 | 97精品人妻一区二区三区香蕉 | 久久亚洲精品中文字幕无男同 | 国产亚洲精品久久久久久 | 动漫av网站免费观看 | 一个人免费观看的www视频 | 网友自拍区视频精品 | 99久久人妻精品免费一区 | 一本大道伊人av久久综合 | 中国女人内谢69xxxx | 精品国产国产综合精品 | 激情人妻另类人妻伦 | 国产精品高潮呻吟av久久4虎 | 欧美日韩一区二区免费视频 | 狂野欧美性猛xxxx乱大交 | 亚洲 另类 在线 欧美 制服 | 无码人妻av免费一区二区三区 | 亚洲精品久久久久久久久久久 | 人人爽人人澡人人人妻 | 任你躁国产自任一区二区三区 | 国产激情综合五月久久 | 国产成人精品久久亚洲高清不卡 | 国产成人无码a区在线观看视频app | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 欧美人妻一区二区三区 | 清纯唯美经典一区二区 | 伊人久久大香线焦av综合影院 | 少妇无码av无码专区在线观看 | 精品夜夜澡人妻无码av蜜桃 | 东京热男人av天堂 | 天下第一社区视频www日本 | 成人无码精品1区2区3区免费看 | 国产艳妇av在线观看果冻传媒 | 国产午夜无码视频在线观看 | 欧美自拍另类欧美综合图片区 | 少妇性荡欲午夜性开放视频剧场 | 亚洲精品一区二区三区大桥未久 | 亚洲精品鲁一鲁一区二区三区 | 福利一区二区三区视频在线观看 | 在线观看欧美一区二区三区 | 综合网日日天干夜夜久久 | 国产精品久久久午夜夜伦鲁鲁 | 在线精品国产一区二区三区 | 激情内射日本一区二区三区 | 国产精品久久精品三级 | 又大又硬又爽免费视频 | 国产办公室秘书无码精品99 | 色综合久久久久综合一本到桃花网 | 亚洲aⅴ无码成人网站国产app | а√天堂www在线天堂小说 | 欧美日韩人成综合在线播放 | 国产肉丝袜在线观看 | 亚洲成熟女人毛毛耸耸多 | 性啪啪chinese东北女人 | 国产人妻精品一区二区三区 | 午夜男女很黄的视频 | 日本丰满熟妇videos | 永久黄网站色视频免费直播 | 青草视频在线播放 | 亚洲熟妇色xxxxx亚洲 | 人人妻人人藻人人爽欧美一区 | 久久无码专区国产精品s | 乱码av麻豆丝袜熟女系列 | 六月丁香婷婷色狠狠久久 | 久热国产vs视频在线观看 | 国内老熟妇对白xxxxhd | 中文字幕乱妇无码av在线 | 亚洲熟熟妇xxxx | 国产成人人人97超碰超爽8 | 久久人人97超碰a片精品 | 久久久亚洲欧洲日产国码αv | 久久久www成人免费毛片 | 日本成熟视频免费视频 | 无码人妻少妇伦在线电影 | 久久天天躁夜夜躁狠狠 | 久9re热视频这里只有精品 | 精品人妻av区 | 99久久无码一区人妻 | 亚洲va中文字幕无码久久不卡 | 中国女人内谢69xxxx | 亚洲人交乣女bbw | 国产精品永久免费视频 | 欧美日韩亚洲国产精品 | 成人免费无码大片a毛片 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 国产人成高清在线视频99最全资源 | 国产午夜手机精彩视频 | 久久www免费人成人片 | 日日躁夜夜躁狠狠躁 | 久久国产精品_国产精品 | 久久zyz资源站无码中文动漫 | 亚洲中文字幕无码中字 | 暴力强奷在线播放无码 | 欧美日韩视频无码一区二区三 | 国产成人精品一区二区在线小狼 | 女人色极品影院 | 亚洲第一无码av无码专区 | 漂亮人妻洗澡被公强 日日躁 | 亚洲自偷自偷在线制服 | 丰满人妻翻云覆雨呻吟视频 | 国产成人无码一二三区视频 | 亚洲国产精品一区二区美利坚 | av小次郎收藏 | 老子影院午夜精品无码 | 女人被男人躁得好爽免费视频 | 樱花草在线社区www | 丰满妇女强制高潮18xxxx | 久久精品国产日本波多野结衣 | 亚洲区欧美区综合区自拍区 | 亚洲阿v天堂在线 | 日韩精品成人一区二区三区 | 波多野结衣高清一区二区三区 | 无码任你躁久久久久久久 | 丰满少妇女裸体bbw | 日韩人妻无码中文字幕视频 | 乱人伦人妻中文字幕无码 | 中国女人内谢69xxxxxa片 | 九九久久精品国产免费看小说 | 亚洲精品欧美二区三区中文字幕 | 无码人妻丰满熟妇区毛片18 | 欧洲美熟女乱又伦 | 精品夜夜澡人妻无码av蜜桃 | 久久精品中文字幕大胸 | 免费观看又污又黄的网站 | 2020最新国产自产精品 | 无人区乱码一区二区三区 | 精品成人av一区二区三区 | 扒开双腿吃奶呻吟做受视频 | 国产热a欧美热a在线视频 | 国产精品va在线观看无码 | 中文字幕无码人妻少妇免费 | 粗大的内捧猛烈进出视频 | 成年美女黄网站色大免费视频 | 性欧美大战久久久久久久 | 国产精品资源一区二区 | 狠狠色丁香久久婷婷综合五月 | 天堂亚洲2017在线观看 | 欧美性猛交内射兽交老熟妇 | 免费男性肉肉影院 | 无码纯肉视频在线观看 | 亚洲精品www久久久 | 亚洲成a人片在线观看无码3d | 亚洲精品成人福利网站 | 天天爽夜夜爽夜夜爽 | 日本护士毛茸茸高潮 | 精品成在人线av无码免费看 | 国产人妖乱国产精品人妖 | 久久99精品国产.久久久久 | 日本高清一区免费中文视频 | 亚洲精品国产第一综合99久久 | 老司机亚洲精品影院 | 国产美女精品一区二区三区 | 麻豆av传媒蜜桃天美传媒 | 日韩av无码一区二区三区不卡 | 激情爆乳一区二区三区 | 丁香花在线影院观看在线播放 | 国产成人午夜福利在线播放 | 国产成人久久精品流白浆 | 亚洲乱亚洲乱妇50p | 精品成人av一区二区三区 | 成熟女人特级毛片www免费 | 午夜精品久久久久久久 | 久久综合色之久久综合 | 成人av无码一区二区三区 | 国产乱人伦偷精品视频 | 最新版天堂资源中文官网 | 亚洲爆乳大丰满无码专区 | 国产真实夫妇视频 | 午夜精品一区二区三区的区别 | 亚洲精品综合五月久久小说 | 永久黄网站色视频免费直播 | 丰满人妻被黑人猛烈进入 | 欧洲熟妇精品视频 | 成人aaa片一区国产精品 | 久久综合激激的五月天 | 国产免费观看黄av片 | 国产黄在线观看免费观看不卡 | 国产一精品一av一免费 | 国产精品久久久久久久9999 | 国产在线一区二区三区四区五区 | 国产一精品一av一免费 | 天天拍夜夜添久久精品 | 少妇性俱乐部纵欲狂欢电影 | 乱中年女人伦av三区 | 欧洲精品码一区二区三区免费看 | 网友自拍区视频精品 | 亚洲国产欧美日韩精品一区二区三区 | 俄罗斯老熟妇色xxxx | 午夜肉伦伦影院 | 久久 国产 尿 小便 嘘嘘 | 久久天天躁狠狠躁夜夜免费观看 | 国内老熟妇对白xxxxhd | 夜夜高潮次次欢爽av女 | 中文字幕无码热在线视频 | 精品 日韩 国产 欧美 视频 | 四虎国产精品一区二区 | 国产高清av在线播放 | 亚洲国产精华液网站w | 国产精品人人妻人人爽 | 国产片av国语在线观看 | 日本饥渴人妻欲求不满 | 久久久久久久久蜜桃 | 牲欲强的熟妇农村老妇女 | 成人免费视频在线观看 | 玩弄中年熟妇正在播放 | 夜夜躁日日躁狠狠久久av | 亚洲一区二区三区四区 | 国产精品美女久久久 | 丰满人妻翻云覆雨呻吟视频 | 无码国产乱人伦偷精品视频 | 精品国产一区av天美传媒 | 98国产精品综合一区二区三区 | 国产精品久久久久9999小说 | 黄网在线观看免费网站 | 2019午夜福利不卡片在线 | 成人精品天堂一区二区三区 | 亚洲成a人片在线观看无码3d | 欧美日韩亚洲国产精品 | 99riav国产精品视频 | 国产一区二区三区四区五区加勒比 | 性啪啪chinese东北女人 | 欧美老妇交乱视频在线观看 | 久久久久久久女国产乱让韩 | 午夜福利电影 | 亚洲欧美色中文字幕在线 | 97精品国产97久久久久久免费 | 在线a亚洲视频播放在线观看 | av无码久久久久不卡免费网站 | 伊人久久婷婷五月综合97色 | 女人和拘做爰正片视频 | 欧美熟妇另类久久久久久多毛 | 无码午夜成人1000部免费视频 | 国产色在线 | 国产 | 亚洲人成人无码网www国产 | 性欧美疯狂xxxxbbbb | 成人女人看片免费视频放人 | 国产亚洲日韩欧美另类第八页 | 日本爽爽爽爽爽爽在线观看免 | 无人区乱码一区二区三区 | 国产精品理论片在线观看 | 亚洲国产一区二区三区在线观看 | 夜夜夜高潮夜夜爽夜夜爰爰 | 性史性农村dvd毛片 | 成年美女黄网站色大免费全看 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 美女张开腿让人桶 | 麻豆av传媒蜜桃天美传媒 | 久久精品成人欧美大片 | 国产69精品久久久久app下载 | 狠狠色色综合网站 | 中文字幕日韩精品一区二区三区 | 亚洲春色在线视频 | 免费播放一区二区三区 | 图片区 小说区 区 亚洲五月 | 天堂在线观看www | 一个人免费观看的www视频 | 国产免费无码一区二区视频 | 欧美野外疯狂做受xxxx高潮 | 国产性生交xxxxx无码 | 亚洲精品国产a久久久久久 | 国产精品美女久久久久av爽李琼 | 久久精品成人欧美大片 | 成人性做爰aaa片免费看 | 在线精品国产一区二区三区 | 精品欧洲av无码一区二区三区 | 日韩精品乱码av一区二区 | 欧美一区二区三区 | 97se亚洲精品一区 | 欧美 日韩 亚洲 在线 | 亚洲一区二区三区四区 | 亚洲小说图区综合在线 | 亚洲熟熟妇xxxx | 精品无码一区二区三区爱欲 | 亚洲中文字幕在线观看 | 国内精品久久毛片一区二区 | 久久国产精品萌白酱免费 | 99精品无人区乱码1区2区3区 | 亚洲国产av美女网站 | 亚洲欧洲无卡二区视頻 | 六十路熟妇乱子伦 | 亚洲精品一区三区三区在线观看 | 中文字幕乱码人妻无码久久 | 国产成人无码专区 | 日本丰满熟妇videos | 天堂а√在线中文在线 | 一本一道久久综合久久 | 无码av免费一区二区三区试看 | 撕开奶罩揉吮奶头视频 | 国产亚洲精品久久久ai换 | 国产后入清纯学生妹 | 波多野42部无码喷潮在线 | а天堂中文在线官网 | 亚洲无人区午夜福利码高清完整版 | 激情国产av做激情国产爱 | 欧美日韩人成综合在线播放 | 澳门永久av免费网站 | 男人和女人高潮免费网站 | 亚洲男人av香蕉爽爽爽爽 | 免费播放一区二区三区 | 人人超人人超碰超国产 | 久久人妻内射无码一区三区 | 精品偷拍一区二区三区在线看 | 欧美肥老太牲交大战 | 国产精品久久久一区二区三区 | 性开放的女人aaa片 | 亚洲第一无码av无码专区 | 99精品无人区乱码1区2区3区 | 国产午夜手机精彩视频 | 中文字幕色婷婷在线视频 | 自拍偷自拍亚洲精品10p | 精品人人妻人人澡人人爽人人 | 97无码免费人妻超级碰碰夜夜 | 国产精品久久国产精品99 | 亚洲日本一区二区三区在线 | 成人片黄网站色大片免费观看 | 欧美刺激性大交 | 亚洲日韩中文字幕在线播放 | 18黄暴禁片在线观看 | 日本爽爽爽爽爽爽在线观看免 | 牲交欧美兽交欧美 | 高清国产亚洲精品自在久久 | 给我免费的视频在线观看 | 国产精品久久久久无码av色戒 | 扒开双腿疯狂进出爽爽爽视频 | 国产真人无遮挡作爱免费视频 | 国产午夜福利100集发布 | 欧美午夜特黄aaaaaa片 | 亚洲va欧美va天堂v国产综合 | 性色欲情网站iwww九文堂 | 小泽玛莉亚一区二区视频在线 | 国产人成高清在线视频99最全资源 | 色欲久久久天天天综合网精品 | 我要看www免费看插插视频 | 亚洲天堂2017无码 | 理论片87福利理论电影 | 国产激情无码一区二区 | 亚洲熟妇色xxxxx欧美老妇 | 欧美一区二区三区视频在线观看 | 窝窝午夜理论片影院 | 久久国产劲爆∧v内射 | 中文字幕av日韩精品一区二区 | 18禁黄网站男男禁片免费观看 | 精品人妻人人做人人爽夜夜爽 | 亚洲精品一区二区三区四区五区 | 1000部夫妻午夜免费 | 国产乱子伦视频在线播放 | 无码午夜成人1000部免费视频 | 东京热一精品无码av | 国产熟妇另类久久久久 | 欧美精品在线观看 | 熟妇女人妻丰满少妇中文字幕 | 国产艳妇av在线观看果冻传媒 | 波多野结衣av在线观看 | 丰腴饱满的极品熟妇 | 久久久婷婷五月亚洲97号色 | 国产 精品 自在自线 | 日本大乳高潮视频在线观看 | 天堂在线观看www | 久久国产精品偷任你爽任你 | 97资源共享在线视频 | 国产色精品久久人妻 | 成人欧美一区二区三区黑人免费 | 2020久久超碰国产精品最新 | 成人免费视频在线观看 | 午夜精品久久久久久久久 | 中文字幕无码免费久久99 | 99精品国产综合久久久久五月天 | 午夜免费福利小电影 | 国产无遮挡吃胸膜奶免费看 | 美女扒开屁股让男人桶 | 亚洲成色在线综合网站 | 久久国内精品自在自线 | 欧美国产日产一区二区 | 亚洲の无码国产の无码影院 | 日本一卡二卡不卡视频查询 | 欧美性猛交内射兽交老熟妇 | 波多野结衣 黑人 | 成人精品视频一区二区三区尤物 | 国产精品久久久av久久久 | 黑人巨大精品欧美一区二区 | 国产成人亚洲综合无码 | 在线看片无码永久免费视频 | 又大又黄又粗又爽的免费视频 | 国产精品99久久精品爆乳 | 国产亚洲欧美在线专区 | 少妇一晚三次一区二区三区 | 成人欧美一区二区三区 | 久久国内精品自在自线 | 亚洲一区二区三区无码久久 | 在线a亚洲视频播放在线观看 | 大肉大捧一进一出好爽视频 | 久久99精品国产麻豆蜜芽 | 在线播放亚洲第一字幕 | 99久久久国产精品无码免费 | 中文字幕+乱码+中文字幕一区 | 成人毛片一区二区 | 亚洲午夜无码久久 | 欧美丰满熟妇xxxx性ppx人交 | 日韩欧美群交p片內射中文 | 国产一区二区三区四区五区加勒比 | 亚洲精品国偷拍自产在线麻豆 | 国产电影无码午夜在线播放 | 水蜜桃色314在线观看 | 最近的中文字幕在线看视频 | 色综合久久久久综合一本到桃花网 | 日本精品久久久久中文字幕 | 九九热爱视频精品 | 久久精品人人做人人综合试看 | 国模大胆一区二区三区 | 女人被男人爽到呻吟的视频 | 国产精品久久久 | 狂野欧美性猛xxxx乱大交 | 久久综合久久自在自线精品自 | 精品无人国产偷自产在线 | 内射老妇bbwx0c0ck | 亚洲爆乳无码专区 | 亚洲成a人一区二区三区 | 久久久精品国产sm最大网站 | 国产无av码在线观看 | 国产精品视频免费播放 | 成人毛片一区二区 | 中文字幕日产无线码一区 | 亚洲精品国产a久久久久久 | 国産精品久久久久久久 | 日本大香伊一区二区三区 | 亚洲啪av永久无码精品放毛片 | 俺去俺来也在线www色官网 | 人妻人人添人妻人人爱 | 欧美熟妇另类久久久久久多毛 | 国产麻豆精品精东影业av网站 | 精品国产麻豆免费人成网站 | 亚洲欧美日韩成人高清在线一区 | 未满小14洗澡无码视频网站 | 荡女精品导航 | 无码乱肉视频免费大全合集 | 丰满少妇弄高潮了www | 国产美女精品一区二区三区 | 人妻少妇精品视频专区 | 国产手机在线αⅴ片无码观看 | 国产成人精品视频ⅴa片软件竹菊 | 18精品久久久无码午夜福利 | 亚洲国产精品无码久久久久高潮 | 四十如虎的丰满熟妇啪啪 | 国产人成高清在线视频99最全资源 | 亚洲人成影院在线观看 | 亚洲精品鲁一鲁一区二区三区 | 国产乱子伦视频在线播放 | 久久 国产 尿 小便 嘘嘘 | 国产一区二区不卡老阿姨 | 国产成人综合在线女婷五月99播放 | 亚洲人亚洲人成电影网站色 | 成年美女黄网站色大免费全看 | 国产精品高潮呻吟av久久4虎 | 久久精品视频在线看15 | 蜜臀av在线播放 久久综合激激的五月天 | 国产成人精品一区二区在线小狼 | 国产乡下妇女做爰 | 日本又色又爽又黄的a片18禁 | 欧美freesex黑人又粗又大 | 亚洲人成影院在线观看 | 激情国产av做激情国产爱 | 精品一区二区三区无码免费视频 | 一本色道久久综合狠狠躁 | 两性色午夜免费视频 | 国产午夜福利100集发布 | 国产人妻人伦精品1国产丝袜 | 无码一区二区三区在线 | www成人国产高清内射 | 爽爽影院免费观看 | 成人无码视频免费播放 | 成人av无码一区二区三区 | 国产午夜精品一区二区三区嫩草 | 大地资源网第二页免费观看 | 人妻无码αv中文字幕久久琪琪布 | 欧美人与禽猛交狂配 | 久久精品丝袜高跟鞋 | 免费观看的无遮挡av | 宝宝好涨水快流出来免费视频 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 国产人妻久久精品二区三区老狼 | 玩弄中年熟妇正在播放 | 欧美大屁股xxxxhd黑色 | 日韩人妻无码中文字幕视频 | 国产成人人人97超碰超爽8 | 国产熟妇另类久久久久 | 成人欧美一区二区三区黑人免费 | 国产69精品久久久久app下载 | 日本精品久久久久中文字幕 | 99国产欧美久久久精品 | 东京热男人av天堂 | 国产精品对白交换视频 | 六月丁香婷婷色狠狠久久 | 国产另类ts人妖一区二区 | 国内少妇偷人精品视频免费 | 欧美人与禽猛交狂配 | 国产av人人夜夜澡人人爽麻豆 | 97人妻精品一区二区三区 | 国产亚av手机在线观看 | 亚洲中文无码av永久不收费 | 亚洲成a人片在线观看无码3d | av无码不卡在线观看免费 | 国产精品无码永久免费888 | 爱做久久久久久 | 欧美日韩一区二区三区自拍 | аⅴ资源天堂资源库在线 | 玩弄少妇高潮ⅹxxxyw | 伊人久久大香线蕉亚洲 | 四虎永久在线精品免费网址 | 欧美性生交xxxxx久久久 | 99久久99久久免费精品蜜桃 | 国产精品99爱免费视频 | 国产精品福利视频导航 | 无码成人精品区在线观看 | 国产在线一区二区三区四区五区 | 三上悠亚人妻中文字幕在线 | 亚洲一区二区观看播放 | 99久久久无码国产精品免费 | 纯爱无遮挡h肉动漫在线播放 | 国产精品永久免费视频 | 熟妇人妻无码xxx视频 | 欧美性猛交内射兽交老熟妇 | 人妻夜夜爽天天爽三区 | 亚洲精品国产a久久久久久 | 亚洲欧洲日本综合aⅴ在线 | 我要看www免费看插插视频 | 精品国产乱码久久久久乱码 | 亚洲va中文字幕无码久久不卡 | 在线亚洲高清揄拍自拍一品区 | ass日本丰满熟妇pics | 国产另类ts人妖一区二区 | 国产精品高潮呻吟av久久 | 国产又爽又猛又粗的视频a片 | 久久久久人妻一区精品色欧美 | 国产办公室秘书无码精品99 | 黑人粗大猛烈进出高潮视频 | 亚洲gv猛男gv无码男同 | 大胆欧美熟妇xx | 99er热精品视频 | 中文字幕乱码中文乱码51精品 | 国产亚洲精品久久久闺蜜 | 成人亚洲精品久久久久软件 | 中文字幕无码日韩欧毛 | 国产9 9在线 | 中文 | 小泽玛莉亚一区二区视频在线 | 蜜桃av抽搐高潮一区二区 | 亚洲 激情 小说 另类 欧美 | 亚洲欧美国产精品专区久久 | 丁香花在线影院观看在线播放 | 久久精品国产精品国产精品污 | 国产精品va在线播放 | 无码吃奶揉捏奶头高潮视频 | 性生交大片免费看女人按摩摩 | 国产精品无码一区二区桃花视频 | 狂野欧美激情性xxxx | 久久zyz资源站无码中文动漫 | 我要看www免费看插插视频 | 精品一区二区不卡无码av | 国产偷抇久久精品a片69 | 国产精品沙发午睡系列 | 久久午夜无码鲁丝片午夜精品 | 欧洲欧美人成视频在线 | 色综合久久久久综合一本到桃花网 | 国产热a欧美热a在线视频 | 久久综合狠狠综合久久综合88 | 免费观看黄网站 | 岛国片人妻三上悠亚 | 亚洲自偷精品视频自拍 | 未满成年国产在线观看 | 秋霞特色aa大片 | 亚洲国产日韩a在线播放 | 麻豆精产国品 | 玩弄少妇高潮ⅹxxxyw | 国产成人人人97超碰超爽8 | 国产精品久久久久久无码 | 亚无码乱人伦一区二区 | www国产亚洲精品久久久日本 | 两性色午夜视频免费播放 | 精品日本一区二区三区在线观看 | 日韩精品久久久肉伦网站 | 国产精品无套呻吟在线 | 久久zyz资源站无码中文动漫 | 成人女人看片免费视频放人 | 国产精品久久久久久亚洲毛片 | 国产亚洲视频中文字幕97精品 | 国产成人av免费观看 | 午夜福利试看120秒体验区 | 四虎永久在线精品免费网址 | 成人精品天堂一区二区三区 | 国产成人无码a区在线观看视频app | 国产香蕉尹人综合在线观看 | 久久亚洲精品中文字幕无男同 | 久久久久成人片免费观看蜜芽 | 青草视频在线播放 | 娇妻被黑人粗大高潮白浆 | 欧美性猛交xxxx富婆 | 国产在线一区二区三区四区五区 | 久久亚洲精品成人无码 | 国产人妻人伦精品1国产丝袜 | 一本久久a久久精品亚洲 | 色爱情人网站 | 亚洲国产高清在线观看视频 | 国产内射老熟女aaaa | 在线а√天堂中文官网 | 狂野欧美激情性xxxx | 亚洲国产高清在线观看视频 | 久久精品丝袜高跟鞋 | 久久久久久亚洲精品a片成人 | 国产精品无码一区二区三区不卡 | 亚洲精品国产品国语在线观看 | 综合激情五月综合激情五月激情1 | 最新国产麻豆aⅴ精品无码 | 亚洲欧洲日本无在线码 | 欧美日韩一区二区免费视频 | 国产 精品 自在自线 | 日本精品人妻无码免费大全 | 免费无码一区二区三区蜜桃大 | 亚洲一区二区三区在线观看网站 | 蜜臀aⅴ国产精品久久久国产老师 | 日本精品高清一区二区 | 久久99精品久久久久婷婷 | 久久精品视频在线看15 | 波多野结衣乳巨码无在线观看 | 最新国产乱人伦偷精品免费网站 | 波多野结衣高清一区二区三区 | 中文无码成人免费视频在线观看 | 亚洲欧美综合区丁香五月小说 | 亚洲成a人一区二区三区 | 久久婷婷五月综合色国产香蕉 | 亚洲精品午夜国产va久久成人 | 亚洲熟妇色xxxxx欧美老妇 | 成在人线av无码免费 | 国产av剧情md精品麻豆 | 欧美一区二区三区视频在线观看 | 色狠狠av一区二区三区 | 99久久人妻精品免费二区 | 国产精品第一国产精品 | 丁香啪啪综合成人亚洲 | 丰满人妻翻云覆雨呻吟视频 | 丰腴饱满的极品熟妇 | 荫蒂添的好舒服视频囗交 | 国产激情无码一区二区 | 极品嫩模高潮叫床 | 久精品国产欧美亚洲色aⅴ大片 | 人人妻人人澡人人爽欧美精品 | 亚洲国产欧美在线成人 | 久久久中文字幕日本无吗 | 激情内射亚州一区二区三区爱妻 | av小次郎收藏 | 国产日产欧产精品精品app | 久久精品成人欧美大片 | 纯爱无遮挡h肉动漫在线播放 | 欧美三级a做爰在线观看 | 天天躁夜夜躁狠狠是什么心态 | 香蕉久久久久久av成人 | 激情内射亚州一区二区三区爱妻 | 欧美大屁股xxxxhd黑色 | 成人精品视频一区二区三区尤物 | 国产精品久久国产三级国 | 97精品国产97久久久久久免费 | 国产热a欧美热a在线视频 | 成年美女黄网站色大免费全看 | 久久伊人色av天堂九九小黄鸭 | 色噜噜亚洲男人的天堂 | 国产精品多人p群无码 | 伊人久久大香线焦av综合影院 | 麻豆国产人妻欲求不满谁演的 | 鲁一鲁av2019在线 | 日本精品少妇一区二区三区 | aa片在线观看视频在线播放 | 欧美性猛交内射兽交老熟妇 | 久久无码人妻影院 | 日日碰狠狠躁久久躁蜜桃 | 极品尤物被啪到呻吟喷水 | 国产真实伦对白全集 | 亚洲啪av永久无码精品放毛片 | 对白脏话肉麻粗话av | 日本欧美一区二区三区乱码 | 国产成人无码专区 | 大地资源网第二页免费观看 | 欧美日韩久久久精品a片 | 亚洲中文字幕乱码av波多ji | 精品无码一区二区三区的天堂 | 成 人 网 站国产免费观看 | 亚洲va欧美va天堂v国产综合 | 精品国产青草久久久久福利 | 久久国语露脸国产精品电影 | 国语精品一区二区三区 | 樱花草在线播放免费中文 | 老子影院午夜伦不卡 | 午夜精品一区二区三区在线观看 | 中文字幕无码免费久久99 | 少妇无码av无码专区在线观看 | 国产色xx群视频射精 | 麻豆国产丝袜白领秘书在线观看 | 亚洲乱码国产乱码精品精 | 国产黄在线观看免费观看不卡 | 真人与拘做受免费视频 | 麻豆人妻少妇精品无码专区 | 色欲人妻aaaaaaa无码 | 天天爽夜夜爽夜夜爽 | 欧美激情内射喷水高潮 | 国产高清av在线播放 | 久久久精品456亚洲影院 | 亚洲午夜福利在线观看 | 免费中文字幕日韩欧美 | 六十路熟妇乱子伦 | 2019午夜福利不卡片在线 | 中文字幕无码热在线视频 | 欧美一区二区三区 | 老熟妇乱子伦牲交视频 | 啦啦啦www在线观看免费视频 | 无码av岛国片在线播放 | 荫蒂添的好舒服视频囗交 | 久久久国产一区二区三区 | www国产精品内射老师 | 人妻中文无码久热丝袜 | 国产人妻人伦精品 | 亚洲理论电影在线观看 | 精品国产国产综合精品 | 爆乳一区二区三区无码 | 国产精品福利视频导航 | 亚洲无人区一区二区三区 | 狠狠色欧美亚洲狠狠色www | 久久www免费人成人片 | 小泽玛莉亚一区二区视频在线 | 日韩精品无码一本二本三本色 | 国产激情艳情在线看视频 | 九九久久精品国产免费看小说 | 亚洲欧美国产精品久久 | 无码人妻丰满熟妇区五十路百度 | 在线精品国产一区二区三区 | 国产成人精品一区二区在线小狼 | 国产69精品久久久久app下载 | 麻花豆传媒剧国产免费mv在线 | 中文字幕人妻无码一区二区三区 | 亚洲国产精品无码一区二区三区 | 日韩成人一区二区三区在线观看 | 人人妻人人澡人人爽人人精品 | 天天av天天av天天透 | 呦交小u女精品视频 | 亚洲欧美日韩成人高清在线一区 | 在线天堂新版最新版在线8 | 久久久婷婷五月亚洲97号色 | 高潮毛片无遮挡高清免费视频 | 亚洲国产精品美女久久久久 | 日韩亚洲欧美精品综合 | 人妻人人添人妻人人爱 | 国内精品一区二区三区不卡 | 暴力强奷在线播放无码 | 无码帝国www无码专区色综合 | 欧美日韩亚洲国产精品 | 国产又粗又硬又大爽黄老大爷视 | 无码一区二区三区在线观看 | 久久久中文字幕日本无吗 | 天天爽夜夜爽夜夜爽 | 四虎国产精品免费久久 | 免费无码一区二区三区蜜桃大 | 日本又色又爽又黄的a片18禁 | 激情亚洲一区国产精品 | 色婷婷av一区二区三区之红樱桃 | 我要看www免费看插插视频 | 国语自产偷拍精品视频偷 | 欧美真人作爱免费视频 | 亚洲日韩精品欧美一区二区 | 久久久中文久久久无码 | 性生交大片免费看女人按摩摩 | 伊人久久大香线蕉亚洲 | 国产成人精品一区二区在线小狼 | 久久综合香蕉国产蜜臀av | 乱中年女人伦av三区 | 麻豆av传媒蜜桃天美传媒 | 亚洲精品鲁一鲁一区二区三区 | 天天综合网天天综合色 | 全黄性性激高免费视频 | 国产日产欧产精品精品app | 国产一区二区三区精品视频 | 狠狠噜狠狠狠狠丁香五月 | 无码任你躁久久久久久久 | 欧美日韩一区二区综合 | 东北女人啪啪对白 | 婷婷丁香五月天综合东京热 | 欧美丰满少妇xxxx性 | 午夜成人1000部免费视频 | 性史性农村dvd毛片 | 自拍偷自拍亚洲精品被多人伦好爽 | 国内精品人妻无码久久久影院蜜桃 | 中文字幕无码热在线视频 | 久久精品国产99精品亚洲 | 国产国语老龄妇女a片 | 香蕉久久久久久av成人 | 亚洲精品久久久久avwww潮水 | 一二三四在线观看免费视频 | 日韩人妻无码一区二区三区久久99 | 成人无码精品一区二区三区 | 色 综合 欧美 亚洲 国产 | 午夜无码人妻av大片色欲 | 男人的天堂2018无码 | 亚洲另类伦春色综合小说 | 久久久www成人免费毛片 | 免费无码午夜福利片69 | 欧美精品一区二区精品久久 | 成人动漫在线观看 | 亚洲自偷自偷在线制服 | 国产精品18久久久久久麻辣 | 99国产精品白浆在线观看免费 | 成人无码影片精品久久久 | 国产精品人妻一区二区三区四 | 少妇性l交大片欧洲热妇乱xxx | 俺去俺来也www色官网 | 美女张开腿让人桶 | 一二三四社区在线中文视频 | 国产人妻大战黑人第1集 | 99精品视频在线观看免费 | 对白脏话肉麻粗话av | 国产精品久久久久9999小说 | 亚洲s色大片在线观看 | 久久国产精品偷任你爽任你 | 色噜噜亚洲男人的天堂 | 国产精品福利视频导航 | 国产亚洲美女精品久久久2020 | 人妻与老人中文字幕 | 色一情一乱一伦 | 中文字幕日韩精品一区二区三区 | 精品国产一区二区三区av 性色 | 天天做天天爱天天爽综合网 | 亚洲精品一区二区三区大桥未久 | 麻豆国产丝袜白领秘书在线观看 | 国产精品-区区久久久狼 | 无码成人精品区在线观看 | 亚洲精品一区二区三区大桥未久 | 色老头在线一区二区三区 | √8天堂资源地址中文在线 | 97人妻精品一区二区三区 | 久久无码专区国产精品s | 久激情内射婷内射蜜桃人妖 | 国内揄拍国内精品少妇国语 | 一本久久伊人热热精品中文字幕 | 午夜丰满少妇性开放视频 | 动漫av一区二区在线观看 | 任你躁国产自任一区二区三区 | 午夜丰满少妇性开放视频 | av人摸人人人澡人人超碰下载 | 国产农村乱对白刺激视频 | 国产成人精品久久亚洲高清不卡 | 又大又硬又黄的免费视频 | 久久97精品久久久久久久不卡 | 日韩人妻系列无码专区 | 免费看男女做好爽好硬视频 | 亚洲欧美日韩成人高清在线一区 | 人人妻人人澡人人爽精品欧美 | 成熟女人特级毛片www免费 | 国产精品久久福利网站 | 久久99精品久久久久婷婷 | 午夜熟女插插xx免费视频 | 人妻天天爽夜夜爽一区二区 | 国产国产精品人在线视 | 国产成人一区二区三区别 | 中文字幕中文有码在线 | 日日碰狠狠躁久久躁蜜桃 | 日本成熟视频免费视频 | 日日噜噜噜噜夜夜爽亚洲精品 | 麻豆蜜桃av蜜臀av色欲av | 国产性生大片免费观看性 | 亚洲爆乳精品无码一区二区三区 | 亚洲毛片av日韩av无码 | 少妇邻居内射在线 | 久久国产精品萌白酱免费 | 婷婷丁香六月激情综合啪 | 亚洲国产精品无码一区二区三区 | 久久久精品国产sm最大网站 | 国产无遮挡吃胸膜奶免费看 | 国产深夜福利视频在线 | 天天摸天天碰天天添 | 欧美阿v高清资源不卡在线播放 | 亚洲综合另类小说色区 | 色综合天天综合狠狠爱 | 麻豆国产人妻欲求不满 | 久久久婷婷五月亚洲97号色 | 色五月五月丁香亚洲综合网 | 亚洲娇小与黑人巨大交 | 欧美日韩人成综合在线播放 | 九九热爱视频精品 | 99久久久国产精品无码免费 | 暴力强奷在线播放无码 | 亚洲第一无码av无码专区 | 成人精品视频一区二区 | 18无码粉嫩小泬无套在线观看 | 蜜臀av在线播放 久久综合激激的五月天 | 亚洲国产精品久久久久久 | 18无码粉嫩小泬无套在线观看 | 精品少妇爆乳无码av无码专区 | 无码人妻出轨黑人中文字幕 | 日日噜噜噜噜夜夜爽亚洲精品 | 亚洲精品一区二区三区大桥未久 | 久久久久久久人妻无码中文字幕爆 | 亚洲欧美国产精品专区久久 | 久久久久人妻一区精品色欧美 | 日本精品少妇一区二区三区 | 亚洲男人av天堂午夜在 | 亚洲精品一区国产 | 国产av人人夜夜澡人人爽麻豆 | 精品夜夜澡人妻无码av蜜桃 | 人妻天天爽夜夜爽一区二区 | 日日天干夜夜狠狠爱 | 无码av免费一区二区三区试看 | 国产97人人超碰caoprom | 性做久久久久久久久 | 欧美人与禽zoz0性伦交 | 玩弄少妇高潮ⅹxxxyw | 三级4级全黄60分钟 | 成人欧美一区二区三区 | 亚洲无人区午夜福利码高清完整版 | 精品 日韩 国产 欧美 视频 | 丰腴饱满的极品熟妇 | 亚洲一区二区三区播放 | 日韩少妇白浆无码系列 | 波多野结衣乳巨码无在线观看 | 最近的中文字幕在线看视频 | 亚洲欧洲无卡二区视頻 | 欧美日韩在线亚洲综合国产人 | 奇米影视888欧美在线观看 | 清纯唯美经典一区二区 | 国产无套粉嫩白浆在线 | 国产热a欧美热a在线视频 | www国产亚洲精品久久久日本 | 亚洲爆乳精品无码一区二区三区 | 性史性农村dvd毛片 | 综合激情五月综合激情五月激情1 | 内射欧美老妇wbb | 久久久无码中文字幕久... | 国产内射老熟女aaaa | 小泽玛莉亚一区二区视频在线 | 久久无码人妻影院 | 精品国产麻豆免费人成网站 | 国产精品第一区揄拍无码 | 四虎永久在线精品免费网址 | 国产亚洲精品久久久久久久久动漫 | 国产亚洲精品久久久久久大师 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 色狠狠av一区二区三区 | 亚洲成a人片在线观看无码 | 久久99精品久久久久婷婷 | 久久国产精品精品国产色婷婷 | 国产黑色丝袜在线播放 | 欧美日韩综合一区二区三区 | 人人妻在人人 | 天天躁日日躁狠狠躁免费麻豆 | 国产精品a成v人在线播放 | 中文字幕人妻无码一区二区三区 | 十八禁视频网站在线观看 | 国产精品a成v人在线播放 | 狂野欧美激情性xxxx | 精品少妇爆乳无码av无码专区 | 午夜精品久久久内射近拍高清 | 中文字幕无码免费久久99 | 欧美一区二区三区 | 久久国产精品_国产精品 | 久久www免费人成人片 | 人人妻人人澡人人爽欧美一区九九 | 欧美第一黄网免费网站 | 又大又黄又粗又爽的免费视频 | 日韩亚洲欧美中文高清在线 | 日本高清一区免费中文视频 | 好爽又高潮了毛片免费下载 | 鲁一鲁av2019在线 | 免费乱码人妻系列无码专区 | 日本乱偷人妻中文字幕 | 成人女人看片免费视频放人 | 好爽又高潮了毛片免费下载 | 色婷婷综合激情综在线播放 | 亚洲啪av永久无码精品放毛片 | 日韩 欧美 动漫 国产 制服 | 久久久久久久久蜜桃 | 亚洲成av人影院在线观看 | 久久99精品久久久久婷婷 | 国产美女极度色诱视频www | 装睡被陌生人摸出水好爽 | 啦啦啦www在线观看免费视频 | 中文毛片无遮挡高清免费 | 欧美日本免费一区二区三区 | 正在播放老肥熟妇露脸 | 免费乱码人妻系列无码专区 | 久9re热视频这里只有精品 | 伊在人天堂亚洲香蕉精品区 | 精品夜夜澡人妻无码av蜜桃 | 无码人妻丰满熟妇区毛片18 | 国产精品福利视频导航 | 高中生自慰www网站 | 久久综合香蕉国产蜜臀av | 最近中文2019字幕第二页 | 亚洲国产精品美女久久久久 | 免费观看的无遮挡av | 久久精品无码一区二区三区 | 女高中生第一次破苞av | 国产精品a成v人在线播放 | 全黄性性激高免费视频 | 免费无码午夜福利片69 | 永久免费观看美女裸体的网站 | 熟妇女人妻丰满少妇中文字幕 | 色一情一乱一伦一区二区三欧美 | 日日夜夜撸啊撸 | 特级做a爰片毛片免费69 | 88国产精品欧美一区二区三区 | 四虎4hu永久免费 | 精品国产乱码久久久久乱码 | 沈阳熟女露脸对白视频 | 天堂亚洲2017在线观看 | 亚洲第一网站男人都懂 | 久久99热只有频精品8 | 国产精品a成v人在线播放 | 亚洲娇小与黑人巨大交 | 少妇性荡欲午夜性开放视频剧场 | 国产特级毛片aaaaaa高潮流水 | 丝袜足控一区二区三区 | 亚洲熟妇色xxxxx亚洲 | 欧美日韩视频无码一区二区三 | 亚洲精品一区二区三区在线观看 | 1000部啪啪未满十八勿入下载 | 国产精品a成v人在线播放 | 国产偷自视频区视频 | 国产精品丝袜黑色高跟鞋 | 日韩av无码一区二区三区不卡 | 国产精品嫩草久久久久 | 狂野欧美性猛交免费视频 | 久久午夜无码鲁丝片午夜精品 | 亚洲中文字幕无码中文字在线 | 丰满护士巨好爽好大乳 | 日本乱人伦片中文三区 | 亚洲精品一区国产 | 亚洲午夜无码久久 | 精品欧美一区二区三区久久久 | 日韩精品a片一区二区三区妖精 | 中文字幕 亚洲精品 第1页 | 夜先锋av资源网站 | 奇米影视888欧美在线观看 | 午夜男女很黄的视频 | 少妇太爽了在线观看 | 亚洲自偷自偷在线制服 | 日本欧美一区二区三区乱码 | 领导边摸边吃奶边做爽在线观看 | 波多野结衣高清一区二区三区 | 国产69精品久久久久app下载 | 亚洲成色www久久网站 | 1000部夫妻午夜免费 | 领导边摸边吃奶边做爽在线观看 | 熟妇人妻激情偷爽文 | 99久久人妻精品免费二区 | 熟女体下毛毛黑森林 | 成人无码精品1区2区3区免费看 | 日本肉体xxxx裸交 | 久久综合九色综合欧美狠狠 | 日产精品高潮呻吟av久久 | 久久久久成人片免费观看蜜芽 | 老司机亚洲精品影院 | 国产精品久久久久久无码 | 色老头在线一区二区三区 | 国产乱码精品一品二品 | 国产亚洲人成a在线v网站 | 亚洲国产日韩a在线播放 | 在线а√天堂中文官网 | 亚洲 另类 在线 欧美 制服 | 少妇无码av无码专区在线观看 | 久久精品国产一区二区三区 | 欧美野外疯狂做受xxxx高潮 | 国产片av国语在线观看 | 欧美 亚洲 国产 另类 | 女人高潮内射99精品 | 日本高清一区免费中文视频 | 亚洲小说春色综合另类 | 中文字幕无码视频专区 | 狠狠噜狠狠狠狠丁香五月 | 男女猛烈xx00免费视频试看 | 欧洲vodafone精品性 | 日本一区二区更新不卡 | 又色又爽又黄的美女裸体网站 | 国产区女主播在线观看 | 国产午夜亚洲精品不卡下载 | 激情内射日本一区二区三区 | 亚洲色欲色欲天天天www | 国产麻豆精品一区二区三区v视界 | 亚洲一区二区观看播放 | 亚拍精品一区二区三区探花 | 色偷偷人人澡人人爽人人模 | 丰满少妇弄高潮了www | 欧美人与牲动交xxxx | 一本色道久久综合亚洲精品不卡 | 领导边摸边吃奶边做爽在线观看 | 亚洲日韩av片在线观看 | ass日本丰满熟妇pics | 大肉大捧一进一出好爽视频 | 欧美亚洲日韩国产人成在线播放 | 久久久精品人妻久久影视 | 老子影院午夜伦不卡 | 无码av免费一区二区三区试看 | 一本久久a久久精品亚洲 | 自拍偷自拍亚洲精品10p | 亚洲大尺度无码无码专区 | 香港三级日本三级妇三级 | 国内老熟妇对白xxxxhd | 国产精品嫩草久久久久 | 色婷婷香蕉在线一区二区 | 久久久久人妻一区精品色欧美 | 久久99精品久久久久婷婷 | 成人精品视频一区二区 | 国产亚洲精品久久久久久国模美 | 野狼第一精品社区 | 亚洲无人区一区二区三区 | 日本一卡2卡3卡四卡精品网站 | a在线观看免费网站大全 | 青草视频在线播放 | 亚洲国产精品一区二区美利坚 | 青青青手机频在线观看 | 国产xxx69麻豆国语对白 | 999久久久国产精品消防器材 | 亚洲日韩av片在线观看 | 国产偷抇久久精品a片69 | 色 综合 欧美 亚洲 国产 | 东京热男人av天堂 | 亚洲精品国产品国语在线观看 | 暴力强奷在线播放无码 | 欧美熟妇另类久久久久久多毛 | 乱人伦人妻中文字幕无码久久网 | 欧美激情一区二区三区成人 | 3d动漫精品啪啪一区二区中 | 日本丰满护士爆乳xxxx | 人妻与老人中文字幕 | 老子影院午夜精品无码 | 在教室伦流澡到高潮hnp视频 | 成人试看120秒体验区 | 1000部啪啪未满十八勿入下载 | 色综合久久久久综合一本到桃花网 | 精品偷自拍另类在线观看 | www国产精品内射老师 | 国产亚洲精品久久久闺蜜 | 久久久久免费精品国产 | 国内少妇偷人精品视频免费 | 国产精品久久久久久无码 | 久久久成人毛片无码 | 久久婷婷五月综合色国产香蕉 | 色一情一乱一伦 | 日韩av无码一区二区三区 | 性色欲网站人妻丰满中文久久不卡 | 爆乳一区二区三区无码 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 老熟妇仑乱视频一区二区 | 天堂无码人妻精品一区二区三区 | 亚洲 a v无 码免 费 成 人 a v | 性史性农村dvd毛片 | 亚洲国产精品久久人人爱 | 亚洲乱码日产精品bd | 男人扒开女人内裤强吻桶进去 | 青春草在线视频免费观看 | 国产精品福利视频导航 | 日本丰满护士爆乳xxxx | 狠狠躁日日躁夜夜躁2020 | 日本xxxx色视频在线观看免费 | 国产精品多人p群无码 | 男女爱爱好爽视频免费看 | 狠狠躁日日躁夜夜躁2020 | 东京无码熟妇人妻av在线网址 | av无码久久久久不卡免费网站 | 久久国产精品萌白酱免费 | 一个人看的www免费视频在线观看 | 久久久久人妻一区精品色欧美 | 午夜丰满少妇性开放视频 | 中文字幕日韩精品一区二区三区 | 欧洲熟妇色 欧美 | 亚洲色欲久久久综合网东京热 | 国产在线aaa片一区二区99 | 色情久久久av熟女人妻网站 | 亚洲男人av天堂午夜在 | 久久精品国产精品国产精品污 | 亚洲精品国偷拍自产在线麻豆 | 国产两女互慰高潮视频在线观看 | 中国女人内谢69xxxxxa片 | 一区二区三区乱码在线 | 欧洲 | 两性色午夜视频免费播放 | 成人女人看片免费视频放人 | 亚洲乱码日产精品bd | а√天堂www在线天堂小说 | 国产精品自产拍在线观看 | 精品无人国产偷自产在线 | 日日麻批免费40分钟无码 | 亚洲综合伊人久久大杳蕉 | 在线播放免费人成毛片乱码 | 老熟妇乱子伦牲交视频 | 性啪啪chinese东北女人 | 波多野结衣aⅴ在线 | 国产成人无码区免费内射一片色欲 | 天天摸天天碰天天添 | 美女毛片一区二区三区四区 | 欧美 丝袜 自拍 制服 另类 | 中国女人内谢69xxxxxa片 | 国产99久久精品一区二区 | 激情亚洲一区国产精品 | 国产超级va在线观看视频 | 中文字幕人妻无码一区二区三区 | 日产精品高潮呻吟av久久 | 久久精品国产99精品亚洲 | 亚洲欧美日韩国产精品一区二区 | 一本久久伊人热热精品中文字幕 | 在线a亚洲视频播放在线观看 | 少妇激情av一区二区 | 97久久国产亚洲精品超碰热 | 丰满少妇女裸体bbw | 四虎国产精品一区二区 | 免费播放一区二区三区 | 久久久久免费看成人影片 | 亚洲色www成人永久网址 | 亚洲日韩av一区二区三区中文 | 蜜臀av无码人妻精品 | 欧美自拍另类欧美综合图片区 | 国产亚av手机在线观看 | 日韩av无码中文无码电影 | 欧美freesex黑人又粗又大 | 亚洲色成人中文字幕网站 | 亚洲午夜久久久影院 | 免费观看激色视频网站 | 欧美刺激性大交 | 精品aⅴ一区二区三区 | 亚洲国产精品一区二区第一页 | 日韩精品乱码av一区二区 | 国产后入清纯学生妹 | 大胆欧美熟妇xx | 精品久久久久香蕉网 | 亚洲欧美精品aaaaaa片 | 麻豆人妻少妇精品无码专区 | 亚洲日本一区二区三区在线 | 成人无码精品一区二区三区 | 欧美野外疯狂做受xxxx高潮 | 欧美日韩久久久精品a片 | 亚洲国产欧美日韩精品一区二区三区 | 亚洲人成影院在线无码按摩店 | 给我免费的视频在线观看 | 黄网在线观看免费网站 | 成人免费无码大片a毛片 | 欧美午夜特黄aaaaaa片 | 日韩少妇白浆无码系列 |