探索 OpenStack 之(10):深入镜像服务Glance
本篇博文來探討下鏡像服務Glance。
0. ?基本概念
0.1 基本功能
Glance提供REST API來支持以下鏡像操作:
- 查詢
- 注冊
- 上傳
- 獲取
- 刪除
- 訪問權限管理
0.2 Glance REST API的版本V1和V2
0.2.1功能差別
Glance有兩個版本的REST API V1 和 V2,兩者之間還是有蠻大的不同:
(1). V1只提供了基本的image和member操作功能:鏡像創建、刪除、下載、列表、詳細信息查詢、更新,以及鏡像tenant成員的創建、刪除和列表。
(2). V2除了支持V1的所有功能外,主要是增加了如下功能:
- 鏡像 location 的添加、刪除和修改等操作
- metadata ?namespace 操作
- image tag 操作
(3).V1 和V2對 image store 的支持是相同的。
0.2.2 實現差別
V1的實現上,有glance-api和glance-registry兩個WSGI 服務,都提供REST API,只不過glance-API的REST API對外使用,glance-registry的API只由glance-api使用。
而 V2在實現上,把 glance-registry 的功能合并到了 glance-api 中,減少了一個中間環節。
0.2.3 使用差別
目前,Glance Cli和Horizon默認還是使用V1版本的API。究其原因,
- 一方面,似乎網上有看到說法說V2的性能沒有V1好,我們也能看到使用V2的API的時候,需要多次調用REST API;
- 另一方面,我認為V2里面新添加的功能似乎也不是鏡像管理的必須功能,所以暫時沒怎么被使用也是情理之中。
0.3 image 的數據存放
image 的元數據 通過glance-registry 存放在 db 中; image 的chunk 數據 通過 glance-store 存放在各種 backend store 中,并從中獲取。
0.4 image 的訪問權限
image 的 訪問權限分為:
- public 公共的:可以被所有的 tenant 使用。
- private 私有的/項目的:只能被 image owner 所在的 tenant 使用。
- shared 共享的:一個非共有的image 可以 共享給另外的 tenant,可通過member-* 操作來實現。
- protected 受保護的:protected 的 image 不能被刪除。
0.5 image 的各種狀態
- queued:沒有上傳 image 數據,只有db 中的元數據。
- saving:正在上傳 image data
- active:正常狀態
- deleted/pending_delete: 已刪除/等待刪除
- killed:image 元數據不正確,等待被刪除。
狀態圖:
-
'queued' => ('saving', 'active', 'deleted')
'saving' => ('active', 'killed', 'deleted', 'queued')
'active' => ('queued', 'pending_delete', 'deleted')
'killed' => ('deleted')
'pending_delete' => ('deleted')
'deleted' => ()
1. V1版本的代碼實現
1.1 代碼模塊
從上圖也可以看出,Glance V1主要是三個模塊:
- glance/common/ wsgi.py -- WSGI server,開啟glance-(api|registry)服務,接受請求,比如GET /images/bb8838d5-06b5-4f7e-b6ef-87c908f04cc7 HTTP/1.1
- glance-api:提供對外REST API,同時調用glance-registry進行數據庫操作,以及調用glance-store進行store操作
- images.py -- 實現image-* 操作 memebers.py --實現 member-* 操作 router.py --?將WSGI 收到的 HTTP 操作映射到 glance-api 模塊的 Controller 類的方法.
- glance-registry:向 glance-api 提供元數據數據庫操作?REST API,默認在端口9191監聽。 主要文件:
- client/v1/ api.py -- registry API 入口,調用client.py中的函數 client.py --調用 images.py 和 members.py 中的function api/v1/ images.py -- 調用 glance/db/sqlalchemy/api.py 實現?images 數據庫相關操作 memebers.py --調用?glance/db/sqlalchemy/api.py 實現?members數據庫表的相關操作 glance/db/sqlalchemy/ api.py -- db操作api入口 models.py -- 數據庫表模型,每個表對應一個類
- glance-store:這部分代碼不是在 glance github 代碼項目中,不理解為什么不是在一起,cinder也是類似的架構,但是cinder的所有代碼都是在一個github項目中。
- glance-store 向?glance-api?提供文件 backend.py 作為 store 操作的統一入口。主要函數包括:
- create_stores:調用store.configure_add,glance-api服務啟動的時候根據用戶配置調用該函數來注冊各個store
- get_from_backend:調用store.get,從store中獲取data chunks
- get_size_from_backend:調用store.get_size,從store中獲取image size
- delete_from_backend:調用store.delete,從store中刪除image data
- store_add_to_backend:調用store.add,添加image到store
- set_acls:調用store.set_acls,設置image的讀寫權限
- glance-store 提供一個需要各個 store vendor 實現的基類Store,定義了幾個需要實現的操作:
- configure_add:根據用戶配置來配置該 backend store
- get:獲取 image chunk data
- get_size:獲取image大小
- add: 添加 image 到store中
- delete: 從 store 中刪除 image chunk data
- set_acls: 設置 image 的讀寫權限
- 目前支持的 backend store 見上圖。各backend store所支持的功能差別很大,比如
- cinder.py 只實現了方法?get_size,因為目前的 Glance 不支持 upload image ?到 Cinder volume 中。
- http.py 只實現了 get 和 get_size, 因此只能從http store download image 和查詢 image size。
- swift.py 的實現可以說是最全的,filesystem 次之。
- image 存在于不同store 中時不同的 Location url 格式
- cinder://volume-id
- https://user:pass@example.com:80/images/some-id
http://images.oracle.com/123456
swift://example.com/container/obj-id
swift://user:account:pass@authurl.com/container/obj-id
wift+http://user:account:pass@authurl.com/container/obj-id
s3://accesskey:secretkey@s3.amazonaws.com/bucket/key-id ? ? ??
file:///var/lib/glance/images/1
s3+https://accesskey:secretkey@s3.amazonaws.com/bucket/key-id
- 使用 backend store
- 默認使用的 store 由配置文件?glance-api.conf 的配置項?default_store=<STORE> 指定
- 可以使用的 stores 有配置文件?glance-api.conf?的配置項?stores=<STORES> 指定
- 在Glance Cli image-create 中可使用參數 --store 指定目標backend store
- glance-store 向?glance-api?提供文件 backend.py 作為 store 操作的統一入口。主要函數包括:
1.2 操作流程
| Glance Cli | glanceclient SDK調用的REST API | Glance 內部函數 | ?Gance 內部函數的具體實現 |
| image-create 創建image | POST /images | glance/api/v1/images.py def create(self, req, image_meta, image_data): Adds a new image to Glance | 1. api/v1/images.py: _reserve. 添加image 元數據到db,獲取 image id,設置 image 狀態為?queued。 1.1. registry/client/v1/client.py:? ?def add_image(self, image_metadata) 1.2. registry/api/v1/images.py:?def create(self, req, body) 1.3. db/sqlalchemy/api.py: ? image_create 處理 image data,根據image data 來源分為三種情況: 2.1 如果 image_data // 如果直接傳入了 image data 將image data 存入指定的 backend store。注意Content-Type 必須為 application/octet-stream。 2.1.1.1 registry.update_image_metadata //?設置 image 狀態 為 saving 2.1.1.2?upload_utils.upload_data_to_store //? 2.3.1 從location 指定的backend store 中獲取 image size 2.3.2 設置 image 狀態 為 active |
| image-update 修改image metadata屬性或者數據 | PUT /images/<ID> | glance/api/v1/images.py def update(self, req, id, image_meta, image_data)
| 注意: (1)只允許使用?Location|Copy-From 來 修改狀態為?queued 的 image (2)可修改image 訪問權限屬性,以及元數據。 ? 1. 修改 image 訪問權限,調用?registry.get_image_members,再調用?store.set_acls 方法,但是它只有swift支持。 2. 修改image 元數據,調用?registry.update_image_metadata 方法 3. 上傳 image data,調用?self._handle_source,見上面 #2. |
| image-delete 根據image id 刪除 指定image | DELETE /images/<ID> ? ? | glance/api/v1/images.py def delete(self, req, id)
| 1. 調用 registry.get_image_metadata,獲取 image 元數據
4. 調用 upload_utils.initiate_deletion 開始 刪除操作 4.1 調用backend.py 的delete_from_backend 方法,它會調用?store.delete ,如果image存放在文件系統中的話,調用os.unlink(fn) 方法 刪除文件。 4.2?db_api.get_api().image_location_delete // 設置表image_locations的id和image_id對應item的 deleted,status,updated_at,deleted_at
5.1 registry/images.py: def delete(self, req, id) 5.1.1 db/sqlalchemy/api.py: _image_locations_delete_all //Delete all image entries in db table?image_locations for the given image id 5.1.2?db/sqlalchemy/api.py:?_image_child_entry_delete_all //Deletes all the ?entries in db table image_properties?for the given image id 5.1.3?db/sqlalchemy/api.py:?_image_child_entry_delete_all //Deletes all the entries in db table image_members?for the given image id 5.1.4?db/sqlalchemy/api.py:?_image_child_entry_delete_all //Deletes all the entries in db table image_tags for the given image id |
| image-list 獲取image列表 | GET /images -- Returns a set of brief metadata about images | glance/api/v1/images.py def index(self, req)
比如: { | 調用 registry.get_images_list ,從 db 中獲取 image 元數據 |
| ?獲取所有image的詳細信息 | GET /images/detail -- Returns a set of detailed metadata about? images | glance/api/v1/images.py def detail(self, req) Returns detailed information for all available images。比如: { ??????????? "status": "queued", ??????????? "deleted_at": null, ??????????? "name": "name3", ??????????? "deleted": false, ??????????? "container_format": null, ??????????? "created_at": "2015-01-21T23:05:54", ??????????? "disk_format": null, ??????????? "updated_at": "2015-01-21T23:05:54", ??????????? "min_disk": 0, ??????????? "protected": false, ??????????? "id": "1e7b0a5a-7b78-4673-8d56-3abff7b491ae", ??????????? "min_ram": 0, ??????????? "checksum": null, ??????????? "owner": "fa2046aaead44a698de8268f94759fc1", ??????????? "is_public": false, ??????????? "virtual_size": null, ??????????? "properties": {}, ??????????? "size": 12336128 ??????? }, | 直接從 db 中獲取 image 的各項數據。 1. 調用 registry.get_images_detail |
| glance image-show 根據image id顯示指定image的元數據 | HEAD /images/<ID> -- Return metadata about an image with id <ID> | glance/api/v1/images.py def meta(self, req, id)
| 從 db 中獲取 image 部分元數據 1. 調用 self.get_image_meta_or_404(self, request, image_id) |
| image-download ? 下載image | GET /images/<ID>? -- Return image data for image with id <ID> | glance/api/v1/images.py def show(self, req, id)
| 調用 glance-store 方法返回 image data。 1. 調用 registry.get_image_metadata,再調用?self.db_api.image_get 來獲取 image 元數據 2. 調用 self._get_from_store 獲取 image 數據 2.1 調用 glance_store.location.get_location_from_uri, 從 image uri 中獲取 location 2.2 調用 backend.py 的 get_store_from_uri, 獲取所用的 store 2.3 調用 store.get 獲取 image data |
| member-list --image-id 獲取可訪問指定image的tenant成員列表 | GET?/images/{image_id}/members | glance/api/v1/members.py def index(self, req, image_id)
| 通過 glance-registry 執行 數據庫操作。 1.1?registry.get_image_members 1.1.1?registry/api/v1/members.py:?def index 1.1.1.1db/sqlalchemy/api.py:?image_get 1.1.1.2db/sqlalchemy/api.py:?image_member_find |
| member-list --tenant-id 獲取指定tenant的可訪問image列表 | GET?/shared-images/{id} | glance/api/v1/members.py def index_shared_images(self, req, id)
| 通過 glance-registry 執行 數據庫操作。 1.1?registry.get_member_images 1.1.1?registry/api/v1/members.py:?def index_shared_images 1.1.1.1?db/sqlalchemy/api.py:?image_member_find |
| member-create 向指定image添加指定tenant可訪問成員 | PUT?/images/{image_id}/members/{id} | glance/api/v1/members.py def update(self, req, image_id, id, body=None) Adds a membership to the image, or updates an existing one. | 通過 glance-registry 執行 數據庫操作。 1.1?registry.add_member 1.1.1 registry/api/v1/members.py: def delete 1.1.1.1 db/sqlalchemy/api.py:?image_update |
| member-delete 刪除指定image的指定可訪問tenant成員 | DELETE?/images/{image_id}/members/{id} | glance/api/v1/members.py def delete(self, req, image_id, id) //Removes a membership from the image | 通過 glance-registry 執行 數據庫操作。 1.1?registry.delete_member 1.1.1 registry/api/v1/members.py: def delete 1.1.1.1db/sqlalchemy/api.py:?image_get 1.1.1.2 db/sqlalchemy/api.py: image_member_find 1.1.1.3?db/sqlalchemy/api.py:?image_member_delete |
?2 小結
Glance 的原理和實現相比較其它組件較簡單、直接。V2 REST API 內容有不少增加,還需要進一步的研究。
? ?本文轉自SammyLiu博客園博客,原文鏈接:http://www.cnblogs.com/sammyliu/p/4249151.html,如需轉載請自行聯系原作者
總結
以上是生活随笔為你收集整理的探索 OpenStack 之(10):深入镜像服务Glance的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 关于网络编程的一些问题
- 下一篇: Windows 系统常见操作