ในการจัดเก็บเนื้อหาไฟล์ของผู้ใช้ใน S3 ด้วย ownCloud Infinite Scale (oCIS) ให้กำหนดค่าบริการ Storage-Users ให้ใช้s3ngไดรเวอร์ ชี้ไปยังบัคเก็ตที่สร้างไว้ล่วงหน้า และเก็บไดเร็กทอรีเมตาเดตาของบริการไว้ในพื้นที่จัดเก็บข้อมูลถาวรแบบ POSIX S3 จะจัดเก็บไฟล์บล็อบ ไม่ได้แทนที่เส้นทางข้อมูล oCIS ในเครื่องทั้งหมด
การกำหนดค่าด้านล่างนี้เป็นไปตามเอกสารประกอบของ ownCloud Infinite Scale 8.2 โปรดเปรียบเทียบชื่อตัวแปรและตัวอย่างการปรับใช้กับเอกสารประกอบสำหรับเวอร์ชันที่คุณติดตั้งก่อนที่จะเปลี่ยนแปลงระบบที่ใช้งานจริง
ตรวจสอบโครงสร้างการจัดเก็บข้อมูลก่อนทำการตั้งค่า
ในบริบทนี้ blob คือเนื้อหาไฟล์ที่จัดเก็บไว้ และ metadata คือข้อมูลที่ oCIS ใช้ในการจัดระเบียบและค้นหาไฟล์ สำหรับ S3NG นั้น blob จะถูกจัดเก็บใน object store ที่เข้ากันได้กับ S3 ในขณะที่ metadata จะยังคงอยู่บนระบบไฟล์ POSIX ควรทำการ mount ระบบไฟล์นั้นอย่างถาวรและรวมไว้ในการสำรองข้อมูลด้วย ไดรเวอร์จัดเก็บข้อมูลของระบบควรคงอยู่เช่นocisเดิม
ใช้รายการตรวจสอบก่อนบินสั้นๆ นี้:
- เลือกผู้ให้บริการ S3 และตรวจสอบเอนด์พอยต์ ภูมิภาค ชื่อบัคเก็ต การดำเนินการ API ของ S3 ที่รองรับ และข้อจำกัดของไฟล์มัลติพาร์ท
- สร้างบัคเก็ตก่อนเริ่มใช้งาน oCIS ขั้นตอนการตั้งค่า S3NG ที่ระบุไว้ในเอกสารนั้นคาดหวังว่าจะมีบัคเก็ตอยู่แล้ว
- สร้างข้อมูลประจำตัวการเข้าถึงเฉพาะสำหรับ oCIS และจัดเก็บคีย์และรหัสลับไว้ในตัวจัดการรหัสลับหรือการตั้งค่าสภาพแวดล้อมที่ได้รับการป้องกันของการใช้งานของคุณ
- เลือกเส้นทางเมตาเดตาภายในเครื่องที่ถาวร และตรวจสอบให้แน่ใจว่ากระบวนการ oCIS สามารถอ่านและเขียนเส้นทางนั้นได้
- สำหรับระบบที่ติดตั้งอยู่แล้ว โปรดวางแผนการย้ายข้อมูลที่ได้รับการสนับสนุนก่อนที่จะเปลี่ยนไดรเวอร์จัดเก็บข้อมูล การเปลี่ยนการตั้งค่าแบ็กเอนด์ไม่ใช่การคัดลอกหรือย้ายข้อมูลไฟล์ที่มีอยู่เดิม
คำอธิบายโครงสร้างพื้นที่จัดเก็บข้อมูลของ ownCloudระบุว่าข้อมูลใดบ้างที่อยู่นอก S3 bucket ดังนั้น การกู้คืน bucket เพียงอย่างเดียวจึงไม่ใช่แผนการกู้คืนที่สมบูรณ์
ตัวอย่างของการตั้งค่าการจัดเก็บข้อมูลหลักสามอย่าง ได้แก่ S3NG สำหรับบล็อบของผู้ใช้ รูทเมตาเดตา POSIX แบบถาวร และไดรเวอร์ระบบ oCISสร้างบัคเก็ตและให้สิทธิ์การเข้าถึงที่จำเป็น
กำหนดค่าบัคเก็ตในคอนโซลของผู้ให้บริการหรือเครื่องมือโครงสร้างพื้นฐาน จากนั้นให้สิทธิ์การเข้าถึงเฉพาะที่จำเป็นสำหรับบัคเก็ตแก่ข้อมูลประจำตัวบริการ oCIS เท่านั้น หน้าเว็บ ownCloud S3 มีเอกสารนโยบายพื้นฐานสำหรับ API S3 สไตล์ AWS แทนที่bucket-nameด้วยบัคเก็ตของคุณและปรับไวยากรณ์นโยบายให้เข้ากับผู้ให้บริการของคุณหากเข้ากันได้กับ S3 แทนที่จะเป็น Amazon S3
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:ListBucket"],
"Resource": ["arn:aws:s3:::bucket-name"]
},
{
"Effect": "Allow",
"Action": [
"s3:*Object",
"s3:*MultipartUpload",
"s3:ListMultipartUploadParts"
],
"Resource": ["arn:aws:s3:::bucket-name/*"]
}
]
}
ARN ระดับบัคเก็ตและ ARN ระดับอ็อบเจ็กต์นั้นแตกต่างกัน: ARN ระดับบัคเก็ตใช้สำหรับแสดงรายการบัคเก็ต ส่วน ARN ระดับอ็อบเจ็กต์ใช้สำหรับดำเนินการกับอ็อบเจ็กต์ภายในบัคเก็ตนั้น ปฏิบัติตามข้อกำหนดนโยบายบัคเก็ต S3 ของ ownCloudและเอกสารนโยบายปัจจุบันของผู้ให้บริการของคุณ ห้ามคัดลอกข้อมูลประจำตัวลงในไฟล์นโยบาย ที่เก็บซอร์สโค้ด หรือภาพหน้าจอ
ตัวอย่างนี้แยกสิทธิ์ในการแสดงรายการบัคเก็ตออกจากสิทธิ์ในการอัปโหลดวัตถุและไฟล์หลายส่วน แทนที่ ARN ของบัคเก็ตด้วยตัวยึดตำแหน่งตั้งค่าตัวแปร Storage-Users S3NG
สำหรับสภาพแวดล้อมการให้บริการหรือไฟล์ Compose ที่ยอมรับตัวแปรสภาพแวดล้อม oCIS มาตรฐาน ให้ตั้งค่าดังต่อไปนี้ ค่าตัวอย่างเหล่านี้เป็นเพียงค่าตัวอย่างเท่านั้น โปรดใช้ปลายทางและภูมิภาคที่ผู้ให้บริการของคุณกำหนดให้
STORAGE_USERS_DRIVER: s3ng
STORAGE_USERS_S3NG_ROOT: /var/lib/ocis/storage/users
STORAGE_SYSTEM_DRIVER: ocis
STORAGE_USERS_S3NG_ENDPOINT: https://s3.example.com
STORAGE_USERS_S3NG_REGION: us-east-1
STORAGE_USERS_S3NG_ACCESS_KEY: ${OCIS_S3_ACCESS_KEY}
STORAGE_USERS_S3NG_SECRET_KEY: ${OCIS_S3_SECRET_KEY}
STORAGE_USERS_S3NG_BUCKET: ocis-user-blobs
ติดตั้ง/var/lib/ocis/storage/users(หรือรูทที่คุณเลือก) บนพื้นที่จัดเก็บข้อมูล POSIX ที่ทนทาน อย่าชี้เส้นทางเมตาเดตาไปยังบัคเก็ต S3 ใส่คีย์การเข้าถึงและรหัสลับอย่างปลอดภัย การอ้างอิงตัวแปรข้างต้นสมมติว่าการปรับใช้ของคุณมีค่ารหัสลับเหล่านั้นอยู่แล้ว ปลายทางต้องสามารถเข้าถึงได้จากบริการ oCIS และชื่อบัคเก็ต ภูมิภาค และข้อมูลรับรองต้องอ้างอิงถึงบัญชีผู้ให้บริการและบัคเก็ตเดียวกัน
หากคุณใช้ocis_fullตัวอย่าง Compose แบบโมดูลาร์ของ ownCloud โอเวอร์เลย์ S3 ที่เป็นตัวเลือกเสริมจะใช้การตั้งค่าเฉพาะตัวอย่างS3NGและs3ng.ymlไฟล์การกำหนดค่าแยกต่างหาก โปรดปฏิบัติตามตัวอย่างนั้นเป็นรูปแบบการปรับใช้ที่สมบูรณ์แทนที่จะผสมผสานกับไฟล์ Compose อื่นโดยไม่พิจารณาให้ดี ดูตัวอย่างการปรับใช้ Compose อย่างเป็นทางการของ oCISและข้อมูลอ้างอิงสภาพแวดล้อม Storage-Users
ป้อนปลายทาง ภูมิภาค และบัคเก็ตสำหรับผู้ให้บริการของคุณ โปรดอย่าบันทึกรหัสการเข้าถึงและรหัสลับไว้ในการตั้งค่าที่บันทึกไว้ขนาดไฟล์ที่อัปโหลดแบบหลายส่วนตามที่คุณคาดหวัง
ไฟล์ขนาดใหญ่จะถูกอัปโหลดเป็นส่วนๆ หลายส่วน Amazon S3 ระบุขนาดวัตถุสูงสุดไว้ที่ 5 TiB และจำกัดจำนวนส่วนไว้ที่ 10,000 ส่วน โดยขนาดของแต่ละส่วนต้องอยู่ระหว่าง 5 MiB ถึง 5 GiB ขนาดส่วนเริ่มต้นที่ระบุไว้ในเอกสารของ S3NG คือ 16 MiB ด้วยค่าเริ่มต้นนี้ จำนวนส่วนสูงสุดอาจกลายเป็นขีดจำกัดที่ใช้งานได้จริงก่อนที่จะถึงขนาดวัตถุสูงสุดที่ผู้ให้บริการกำหนด หน้าเวอร์ชัน 8.2 ของ ownCloud ประมาณการขีดจำกัดเริ่มต้นไว้ที่ 160 GiB ให้ใช้ขนาดส่วนที่กำหนดค่าไว้และกฎของผู้ให้บริการของคุณเพื่อคำนวณขนาดสูงสุดที่ปลอดภัย และเผื่อระยะไว้ด้วย
พารามิเตอร์แบบหลายส่วนเพียงอย่างเดียวที่ ownCloud ระบุไว้ว่าสามารถกำหนดค่าได้คือ `<multipart_size>` STORAGE_USERS_S3NG_PUT_OBJECT_PART_SIZEหากขนาดไฟล์ที่รองรับของคุณต้องการมากกว่า 10,000 ส่วน ให้เพิ่มขนาดส่วน (part size) ค่าที่ได้คือจำนวนuint64เต็มที่ไม่ระบุเครื่องหมาย (unsigned integer) ดังนั้นให้กำหนดค่าเป็นจำนวนไบต์ ไม่ใช่สตริงที่มี “MiB” ต่อท้าย ให้คงค่าไว้ในช่วง 5 MiB–5 GiB ตามที่ระบุไว้ และตรวจสอบว่าผู้ให้บริการ S3 ของคุณรองรับค่าที่เลือกหรือไม่ สำหรับไฟล์ขนาด 5 TiB ที่แบ่งเป็น 10,000 ส่วน ขนาดเฉลี่ยของแต่ละส่วนควรอยู่ที่ 500 MiB
นอกจากนี้ ควรสำรองพื้นที่จัดเก็บชั่วคราวบนโฮสต์หรือคอนเทนเนอร์ oCIS ด้วย: ownCloud ระบุว่าจำเป็นต้องมีพื้นที่จัดเก็บชั่วคราวอย่างน้อยเท่ากับขนาดไฟล์ที่ใหญ่ที่สุดที่คาดว่าจะใช้ เพื่อบัฟเฟอร์ข้อมูลที่เข้ามา การมีบัคเก็ตและข้อมูลรับรองที่ถูกต้องจะไม่สามารถป้องกันความล้มเหลวที่เกิดจากข้อจำกัดขนาดส่วนที่เล็กเกินไปหรือดิสก์ชั่วคราวเต็มได้ โปรดดูข้อจำกัดการอัปโหลด S3 ของ ownCloudและข้อมูลอ้างอิงประเภทตัวแปรสภาพแวดล้อม
นำไปใช้ ตรวจสอบ และปกป้องข้อมูล
หลังจากบันทึกการตั้งค่าแล้ว ให้รีสตาร์ทหรือติดตั้ง oCIS ใหม่โดยใช้ขั้นตอนสำหรับการติดตั้งของคุณ ตรวจสอบบันทึกบริการเพื่อหาข้อผิดพลาดในการกำหนดค่า ปลายทาง สิทธิ์ หรือการเชื่อมต่อ จากนั้นเรียกใช้การตรวจสอบ blobstore ในรันไทม์ที่กำหนดค่าไว้เดียวกันกับ oCIS:
ocis storage-users blobstore check
คำสั่งบำรุงรักษานี้ใช้ blobstore ที่กำหนดค่าไว้ และดำเนินการอัปโหลด ดาวน์โหลด และลบข้อมูลแบบวนรอบด้วยเพย์โหลดทดสอบแบบสุ่ม เป็นการตรวจสอบพื้นที่จัดเก็บข้อมูลแบบเฉพาะเจาะจง ไม่ใช่การรับประกันว่าเวิร์กโฟลว์ที่ผู้ใช้ใช้งานหรือการอัปโหลดขนาดใหญ่ทุกครั้งจะประสบความสำเร็จ เอกสาร อ้างอิงคำสั่ง blobstoreมีตัวเลือกต่างๆ รวมถึงขนาดเพย์โหลดทดสอบที่สามารถกำหนดค่าได้
เรียกใช้คำสั่งนี้ด้วยการกำหนดค่า oCIS เดียวกันเพื่อตรวจสอบ blobstore ที่กำหนดค่าไว้ รูปภาพไม่แสดงผลการทดสอบสุดท้ายนี้ ให้อัปโหลดไฟล์ทดสอบขนาดเล็กผ่านทางไคลเอ็นต์หรือเว็บอินเทอร์เฟซ และตรวจสอบว่าไฟล์ปรากฏและเปิดได้หรือไม่ สำหรับการใช้งานไฟล์ขนาดใหญ่ ให้ทดสอบไฟล์ขนาดที่เป็นตัวแทนก่อนที่จะใช้งานการตั้งค่า การรับส่งข้อมูลขนาดเล็กที่สำเร็จไม่ได้เป็นการตรวจสอบความจุของไฟล์แบบหลายส่วนหรือพื้นที่ดิสก์ชั่วคราวที่ว่างอยู่
สำรองข้อมูลอ็อบเจ็กต์ S3 และเมตาเดต้า POSIX การกำหนดค่า และข้อมูล oCIS อื่นๆ ที่จำเป็นในรูปแบบชุดเดียวกัน คำแนะนำในการสำรองข้อมูลของ ownCloud ระบุให้หยุดอินสแตนซ์ก่อนทำการสำรองข้อมูล และจัดการบล็อบ S3 ที่จัดเก็บภายนอกแยกต่างหาก เก็บสำเนาที่สามารถกู้คืนได้ของทั้งสองเลเยอร์การจัดเก็บข้อมูล และทดสอบขั้นตอนการกู้คืนก่อนที่จะถือว่าการปรับใช้ได้รับการปกป้อง: ข้อควรพิจารณาในการสำรอง ข้อมูลownCloud
รายการตรวจสอบการตรวจสอบความถูกต้องอย่างรวดเร็ว
STORAGE_USERS_DRIVERพื้นที่s3ngจัดเก็บข้อมูลของระบบยังคงocisอยู่
- รากของเมตาเดตาคือพื้นที่จัดเก็บข้อมูลถาวรแบบ POSIX และบัคเก็ต S3 ก็มีอยู่แล้ว
- ปลายทาง ภูมิภาค กลุ่มข้อมูล ข้อมูลรับรอง และนโยบายตรงกับบัญชีผู้ให้บริการเดียวกัน
- ขนาดชิ้นส่วนหลายส่วน ความจุ 10,000 ชิ้น และพื้นที่จัดเก็บชั่วคราว รองรับไฟล์ขนาดใหญ่ที่สุดที่วางแผนไว้ได้
- การตรวจสอบ blobstore สำเร็จ การอัปโหลดจากไคลเอ็นต์จริงเปิดได้อย่างถูกต้อง และทั้งเมตาเดต้าและเนื้อหาในบัคเก็ตถูกรวมอยู่ในแผนการสำรองข้อมูลและการกู้คืน