s3 是 aws 提供的分布式文件服務，價格比較優惠，經常被用來作為日志的持久化存儲，大數據處理結果的輸入輸出等

s3 服務提供命令行工具，可以很方便地上傳、下載、刪除文件，普通 golang 程序如果需要訪問 s3 上文件，一種簡單方式可以先將 s3 上文件下載到本地，然后直接訪問本地文件即可，但是這種方式需要一個額外的步驟，下載到本地，有額外的運維成本，需要額外的磁盤空間，使用上面不是很靈活，此外，微服務應該盡可能地降低對本地數據的依賴，這種設計也不符合微服務的設計思想

使用 aws-sdk-go 可以直接訪問 s3 服務，實現文件的上傳和讀取

以下使用的代碼：https://github.com/hatlonely/hellogolang/blob/master/internal/aws-sdk-go/s3_test.go

創建會話

首先需要創建一個會話，后續的訪問都可以通過這個會話進行，如果訪問的服務需要授權，也可以在 config 里面指定授權文件

sess := session.Must(session.NewSession(&aws.Config{Region: aws.String(endpoints.ApSoutheast1RegionID), })) service := s3.New(sess)

這里必須指定 s3 桶所在的地區

上傳文件

fp, err := os.Open("s3_test.go") So(err, ShouldBeNil) defer fp.Close()ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second) defer cancel()_, err = service.PutObjectWithContext(ctx, &s3.PutObjectInput{Bucket: aws.String("hatlonely"),Key: aws.String("test/s3_test.go"),Body: fp, }) So(err, ShouldBeNil)

使用 PutObjectWithContext 實現文件的上傳，這里只能實現文件的上傳，不能實現文件的寫入，所以只能先將文件寫入到本地，然后再整個上傳

可以通過 context 設置訪問超時時間

下載文件

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second) defer cancel()out, err := service.GetObjectWithContext(ctx, &s3.GetObjectInput{Bucket: aws.String("hatlonely"),Key: aws.String("test/s3_test.go"), }) So(err, ShouldBeNil) defer out.Body.Close() scanner := bufio.NewScanner(out.Body) for scanner.Scan() {Println(scanner.Text()) }

使用 GetObjectWithContext 接口讀取文件，文件的內容在 out.Body 中，可以使用 scanner 接口，不斷地按行讀取文件內容

最后要記得調用 out.Body.Close()，釋放資源

遍歷目錄

var objkeys []stringctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second) defer cancel()out, err := service.ListObjectsWithContext(ctx, &s3.ListObjectsInput{Bucket: aws.String("hatlonely"),Prefix: aws.String("test/"), }) So(err, ShouldBeNil) for _, content := range out.Contents {objkeys = append(objkeys, aws.StringValue(content.Key)) } Println(objkeys)

大數據一般都是并發輸出，每個節點都會輸出一個文件，到一個指定的目錄下面，所以有時候我們需要去獲取一個目錄下面到底有哪些文件，可以使用 ListObjectsWithContext 遍歷一個目錄下所有的文件，這個函數是遞歸的

var objkeys []stringctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second) defer cancel()err := service.ListObjectsPagesWithContext(ctx, &s3.ListObjectsInput{Bucket: aws.String("hatlonely"),Prefix: aws.String("test/"), }, func(output *s3.ListObjectsOutput, b bool) bool {for _, content := range output.Contents {objkeys = append(objkeys, aws.StringValue(content.Key))}return true }) So(err, ShouldBeNil) Println(objkeys)

也可以使用 ListObjectsPagesWithContext 傳入一個回調函數，用于處理每個文件

參考鏈接

• aws-sdk-go：https://github.com/aws/aws-sdk-go
• aws-sdk-go api：https://docs.aws.amazon.com/sdk-for-go/api/

轉載請注明出處
本文鏈接：http://hatlonely.github.io/2018/03/04/golang-aws-sdk-go-%E4%B9%8B-s3-%E6%9C%8D%E5%8A%A1/

總結

以上是生活随笔為你收集整理的golang aws-sdk-go 之 s3 服务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。