กำหนดค่า S3 Blob Storage สำหรับ ownCloud Infinite Scale

ในการจัดเก็บเนื้อหาไฟล์ของผู้ใช้ใน S3 ด้วย ownCloud Infinite Scale (oCIS) ให้กำหนดค่าบริการ Storage-Users ให้ใช้s3ngไดรเวอร์ ชี้ไปยังบัคเก็ตที่สร้างไว้ล่วงหน้า และเก็บไดเร็กทอรีเมตาเดตาของบริการไว้ในพื้นที่จัดเก็บข้อมูลถาวรแบบ POSIX S3 จะจัดเก็บไฟล์บล็อบ ไม่ได้แทนที่เส้นทางข้อมูล oCIS ในเครื่องทั้งหมด

การกำหนดค่าด้านล่างนี้เป็นไปตามเอกสารประกอบของ ownCloud Infinite Scale 8.2 โปรดเปรียบเทียบชื่อตัวแปรและตัวอย่างการปรับใช้กับเอกสารประกอบสำหรับเวอร์ชันที่คุณติดตั้งก่อนที่จะเปลี่ยนแปลงระบบที่ใช้งานจริง

ตรวจสอบโครงสร้างการจัดเก็บข้อมูลก่อนทำการตั้งค่า

ในบริบทนี้ blob คือเนื้อหาไฟล์ที่จัดเก็บไว้ และ metadata คือข้อมูลที่ oCIS ใช้ในการจัดระเบียบและค้นหาไฟล์ สำหรับ S3NG นั้น blob จะถูกจัดเก็บใน object store ที่เข้ากันได้กับ S3 ในขณะที่ metadata จะยังคงอยู่บนระบบไฟล์ POSIX ควรทำการ mount ระบบไฟล์นั้นอย่างถาวรและรวมไว้ในการสำรองข้อมูลด้วย ไดรเวอร์จัดเก็บข้อมูลของระบบควรคงอยู่เช่นocisเดิม

ใช้รายการตรวจสอบก่อนบินสั้นๆ นี้:

  • เลือกผู้ให้บริการ S3 และตรวจสอบเอนด์พอยต์ ภูมิภาค ชื่อบัคเก็ต การดำเนินการ API ของ S3 ที่รองรับ และข้อจำกัดของไฟล์มัลติพาร์ท
  • สร้างบัคเก็ตก่อนเริ่มใช้งาน oCIS ขั้นตอนการตั้งค่า S3NG ที่ระบุไว้ในเอกสารนั้นคาดหวังว่าจะมีบัคเก็ตอยู่แล้ว
  • สร้างข้อมูลประจำตัวการเข้าถึงเฉพาะสำหรับ oCIS และจัดเก็บคีย์และรหัสลับไว้ในตัวจัดการรหัสลับหรือการตั้งค่าสภาพแวดล้อมที่ได้รับการป้องกันของการใช้งานของคุณ
  • เลือกเส้นทางเมตาเดตาภายในเครื่องที่ถาวร และตรวจสอบให้แน่ใจว่ากระบวนการ oCIS สามารถอ่านและเขียนเส้นทางนั้นได้
  • สำหรับระบบที่ติดตั้งอยู่แล้ว โปรดวางแผนการย้ายข้อมูลที่ได้รับการสนับสนุนก่อนที่จะเปลี่ยนไดรเวอร์จัดเก็บข้อมูล การเปลี่ยนการตั้งค่าแบ็กเอนด์ไม่ใช่การคัดลอกหรือย้ายข้อมูลไฟล์ที่มีอยู่เดิม

คำอธิบายโครงสร้างพื้นที่จัดเก็บข้อมูลของ ownCloudระบุว่าข้อมูลใดบ้างที่อยู่นอก S3 bucket ดังนั้น การกู้คืน bucket เพียงอย่างเดียวจึงไม่ใช่แผนการกู้คืนที่สมบูรณ์

ตัวอย่างโปรแกรมแก้ไขการกำหนดค่าที่แสดงไดรเวอร์จัดเก็บข้อมูล s3ng, รูทเมตาเดตา POSIX และไดรเวอร์จัดเก็บข้อมูลระบบ ocis
ตัวอย่างของการตั้งค่าการจัดเก็บข้อมูลหลักสามอย่าง ได้แก่ S3NG สำหรับบล็อบของผู้ใช้ รูทเมตาเดตา POSIX แบบถาวร และไดรเวอร์ระบบ oCIS

สร้างบัคเก็ตและให้สิทธิ์การเข้าถึงที่จำเป็น

กำหนดค่าบัคเก็ตในคอนโซลของผู้ให้บริการหรือเครื่องมือโครงสร้างพื้นฐาน จากนั้นให้สิทธิ์การเข้าถึงเฉพาะที่จำเป็นสำหรับบัคเก็ตแก่ข้อมูลประจำตัวบริการ oCIS เท่านั้น หน้าเว็บ ownCloud S3 มีเอกสารนโยบายพื้นฐานสำหรับ API S3 สไตล์ AWS แทนที่bucket-nameด้วยบัคเก็ตของคุณและปรับไวยากรณ์นโยบายให้เข้ากับผู้ให้บริการของคุณหากเข้ากันได้กับ S3 แทนที่จะเป็น Amazon S3

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": ["arn:aws:s3:::bucket-name"]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:*Object",
        "s3:*MultipartUpload",
        "s3:ListMultipartUploadParts"
      ],
      "Resource": ["arn:aws:s3:::bucket-name/*"]
    }
  ]
}

ARN ระดับบัคเก็ตและ ARN ระดับอ็อบเจ็กต์นั้นแตกต่างกัน: ARN ระดับบัคเก็ตใช้สำหรับแสดงรายการบัคเก็ต ส่วน ARN ระดับอ็อบเจ็กต์ใช้สำหรับดำเนินการกับอ็อบเจ็กต์ภายในบัคเก็ตนั้น ปฏิบัติตามข้อกำหนดนโยบายบัคเก็ต S3 ของ ownCloudและเอกสารนโยบายปัจจุบันของผู้ให้บริการของคุณ ห้ามคัดลอกข้อมูลประจำตัวลงในไฟล์นโยบาย ที่เก็บซอร์สโค้ด หรือภาพหน้าจอ

ตัวอย่างตัวแก้ไขนโยบาย JSON ที่แสดงรายการสิทธิ์การเข้าถึงบัคเก็ตและสิทธิ์การเข้าถึงอ็อบเจ็กต์สำหรับบัคเก็ต S3 ตัวแทน
ตัวอย่างนี้แยกสิทธิ์ในการแสดงรายการบัคเก็ตออกจากสิทธิ์ในการอัปโหลดวัตถุและไฟล์หลายส่วน แทนที่ ARN ของบัคเก็ตด้วยตัวยึดตำแหน่ง

ตั้งค่าตัวแปร Storage-Users S3NG

สำหรับสภาพแวดล้อมการให้บริการหรือไฟล์ Compose ที่ยอมรับตัวแปรสภาพแวดล้อม oCIS มาตรฐาน ให้ตั้งค่าดังต่อไปนี้ ค่าตัวอย่างเหล่านี้เป็นเพียงค่าตัวอย่างเท่านั้น โปรดใช้ปลายทางและภูมิภาคที่ผู้ให้บริการของคุณกำหนดให้

STORAGE_USERS_DRIVER: s3ng
STORAGE_USERS_S3NG_ROOT: /var/lib/ocis/storage/users
STORAGE_SYSTEM_DRIVER: ocis
STORAGE_USERS_S3NG_ENDPOINT: https://s3.example.com
STORAGE_USERS_S3NG_REGION: us-east-1
STORAGE_USERS_S3NG_ACCESS_KEY: ${OCIS_S3_ACCESS_KEY}
STORAGE_USERS_S3NG_SECRET_KEY: ${OCIS_S3_SECRET_KEY}
STORAGE_USERS_S3NG_BUCKET: ocis-user-blobs

ติดตั้ง/var/lib/ocis/storage/users(หรือรูทที่คุณเลือก) บนพื้นที่จัดเก็บข้อมูล POSIX ที่ทนทาน อย่าชี้เส้นทางเมตาเดตาไปยังบัคเก็ต S3 ใส่คีย์การเข้าถึงและรหัสลับอย่างปลอดภัย การอ้างอิงตัวแปรข้างต้นสมมติว่าการปรับใช้ของคุณมีค่ารหัสลับเหล่านั้นอยู่แล้ว ปลายทางต้องสามารถเข้าถึงได้จากบริการ oCIS และชื่อบัคเก็ต ภูมิภาค และข้อมูลรับรองต้องอ้างอิงถึงบัญชีผู้ให้บริการและบัคเก็ตเดียวกัน

หากคุณใช้ocis_fullตัวอย่าง Compose แบบโมดูลาร์ของ ownCloud โอเวอร์เลย์ S3 ที่เป็นตัวเลือกเสริมจะใช้การตั้งค่าเฉพาะตัวอย่างS3NGและs3ng.ymlไฟล์การกำหนดค่าแยกต่างหาก โปรดปฏิบัติตามตัวอย่างนั้นเป็นรูปแบบการปรับใช้ที่สมบูรณ์แทนที่จะผสมผสานกับไฟล์ Compose อื่นโดยไม่พิจารณาให้ดี ดูตัวอย่างการปรับใช้ Compose อย่างเป็นทางการของ oCISและข้อมูลอ้างอิงสภาพแวดล้อม Storage-Users

ตัวอย่างไฟล์สภาพแวดล้อมที่มีปลายทาง S3, ภูมิภาค, ชื่อบัคเก็ต และคีย์การเข้าถึงและคีย์ลับที่ถูกซ่อนไว้
ป้อนปลายทาง ภูมิภาค และบัคเก็ตสำหรับผู้ให้บริการของคุณ โปรดอย่าบันทึกรหัสการเข้าถึงและรหัสลับไว้ในการตั้งค่าที่บันทึกไว้

ขนาดไฟล์ที่อัปโหลดแบบหลายส่วนตามที่คุณคาดหวัง

ไฟล์ขนาดใหญ่จะถูกอัปโหลดเป็นส่วนๆ หลายส่วน Amazon S3 ระบุขนาดวัตถุสูงสุดไว้ที่ 5 TiB และจำกัดจำนวนส่วนไว้ที่ 10,000 ส่วน โดยขนาดของแต่ละส่วนต้องอยู่ระหว่าง 5 MiB ถึง 5 GiB ขนาดส่วนเริ่มต้นที่ระบุไว้ในเอกสารของ S3NG คือ 16 MiB ด้วยค่าเริ่มต้นนี้ จำนวนส่วนสูงสุดอาจกลายเป็นขีดจำกัดที่ใช้งานได้จริงก่อนที่จะถึงขนาดวัตถุสูงสุดที่ผู้ให้บริการกำหนด หน้าเวอร์ชัน 8.2 ของ ownCloud ประมาณการขีดจำกัดเริ่มต้นไว้ที่ 160 GiB ให้ใช้ขนาดส่วนที่กำหนดค่าไว้และกฎของผู้ให้บริการของคุณเพื่อคำนวณขนาดสูงสุดที่ปลอดภัย และเผื่อระยะไว้ด้วย

พารามิเตอร์แบบหลายส่วนเพียงอย่างเดียวที่ ownCloud ระบุไว้ว่าสามารถกำหนดค่าได้คือ `<multipart_size>` STORAGE_USERS_S3NG_PUT_OBJECT_PART_SIZEหากขนาดไฟล์ที่รองรับของคุณต้องการมากกว่า 10,000 ส่วน ให้เพิ่มขนาดส่วน (part size) ค่าที่ได้คือจำนวนuint64เต็มที่ไม่ระบุเครื่องหมาย (unsigned integer) ดังนั้นให้กำหนดค่าเป็นจำนวนไบต์ ไม่ใช่สตริงที่มี “MiB” ต่อท้าย ให้คงค่าไว้ในช่วง 5 MiB–5 GiB ตามที่ระบุไว้ และตรวจสอบว่าผู้ให้บริการ S3 ของคุณรองรับค่าที่เลือกหรือไม่ สำหรับไฟล์ขนาด 5 TiB ที่แบ่งเป็น 10,000 ส่วน ขนาดเฉลี่ยของแต่ละส่วนควรอยู่ที่ 500 MiB

นอกจากนี้ ควรสำรองพื้นที่จัดเก็บชั่วคราวบนโฮสต์หรือคอนเทนเนอร์ oCIS ด้วย: ownCloud ระบุว่าจำเป็นต้องมีพื้นที่จัดเก็บชั่วคราวอย่างน้อยเท่ากับขนาดไฟล์ที่ใหญ่ที่สุดที่คาดว่าจะใช้ เพื่อบัฟเฟอร์ข้อมูลที่เข้ามา การมีบัคเก็ตและข้อมูลรับรองที่ถูกต้องจะไม่สามารถป้องกันความล้มเหลวที่เกิดจากข้อจำกัดขนาดส่วนที่เล็กเกินไปหรือดิสก์ชั่วคราวเต็มได้ โปรดดูข้อจำกัดการอัปโหลด S3 ของ ownCloudและข้อมูลอ้างอิงประเภทตัวแปรสภาพแวดล้อม

นำไปใช้ ตรวจสอบ และปกป้องข้อมูล

หลังจากบันทึกการตั้งค่าแล้ว ให้รีสตาร์ทหรือติดตั้ง oCIS ใหม่โดยใช้ขั้นตอนสำหรับการติดตั้งของคุณ ตรวจสอบบันทึกบริการเพื่อหาข้อผิดพลาดในการกำหนดค่า ปลายทาง สิทธิ์ หรือการเชื่อมต่อ จากนั้นเรียกใช้การตรวจสอบ blobstore ในรันไทม์ที่กำหนดค่าไว้เดียวกันกับ oCIS:

ocis storage-users blobstore check

คำสั่งบำรุงรักษานี้ใช้ blobstore ที่กำหนดค่าไว้ และดำเนินการอัปโหลด ดาวน์โหลด และลบข้อมูลแบบวนรอบด้วยเพย์โหลดทดสอบแบบสุ่ม เป็นการตรวจสอบพื้นที่จัดเก็บข้อมูลแบบเฉพาะเจาะจง ไม่ใช่การรับประกันว่าเวิร์กโฟลว์ที่ผู้ใช้ใช้งานหรือการอัปโหลดขนาดใหญ่ทุกครั้งจะประสบความสำเร็จ เอกสาร อ้างอิงคำสั่ง blobstoreมีตัวเลือกต่างๆ รวมถึงขนาดเพย์โหลดทดสอบที่สามารถกำหนดค่าได้

หน้าต่างเทอร์มินัลแสดงคำสั่ง ocis storage-users blobstore check แต่ไม่มีผลลัพธ์ใดๆ แสดงออกมา
เรียกใช้คำสั่งนี้ด้วยการกำหนดค่า oCIS เดียวกันเพื่อตรวจสอบ blobstore ที่กำหนดค่าไว้ รูปภาพไม่แสดงผลการทดสอบ

สุดท้ายนี้ ให้อัปโหลดไฟล์ทดสอบขนาดเล็กผ่านทางไคลเอ็นต์หรือเว็บอินเทอร์เฟซ และตรวจสอบว่าไฟล์ปรากฏและเปิดได้หรือไม่ สำหรับการใช้งานไฟล์ขนาดใหญ่ ให้ทดสอบไฟล์ขนาดที่เป็นตัวแทนก่อนที่จะใช้งานการตั้งค่า การรับส่งข้อมูลขนาดเล็กที่สำเร็จไม่ได้เป็นการตรวจสอบความจุของไฟล์แบบหลายส่วนหรือพื้นที่ดิสก์ชั่วคราวที่ว่างอยู่

สำรองข้อมูลอ็อบเจ็กต์ S3 และเมตาเดต้า POSIX การกำหนดค่า และข้อมูล oCIS อื่นๆ ที่จำเป็นในรูปแบบชุดเดียวกัน คำแนะนำในการสำรองข้อมูลของ ownCloud ระบุให้หยุดอินสแตนซ์ก่อนทำการสำรองข้อมูล และจัดการบล็อบ S3 ที่จัดเก็บภายนอกแยกต่างหาก เก็บสำเนาที่สามารถกู้คืนได้ของทั้งสองเลเยอร์การจัดเก็บข้อมูล และทดสอบขั้นตอนการกู้คืนก่อนที่จะถือว่าการปรับใช้ได้รับการปกป้อง: ข้อควรพิจารณาในการสำรอง ข้อมูลownCloud

รายการตรวจสอบการตรวจสอบความถูกต้องอย่างรวดเร็ว

  • STORAGE_USERS_DRIVERพื้นที่s3ngจัดเก็บข้อมูลของระบบยังคงocisอยู่
  • รากของเมตาเดตาคือพื้นที่จัดเก็บข้อมูลถาวรแบบ POSIX และบัคเก็ต S3 ก็มีอยู่แล้ว
  • ปลายทาง ภูมิภาค กลุ่มข้อมูล ข้อมูลรับรอง และนโยบายตรงกับบัญชีผู้ให้บริการเดียวกัน
  • ขนาดชิ้นส่วนหลายส่วน ความจุ 10,000 ชิ้น และพื้นที่จัดเก็บชั่วคราว รองรับไฟล์ขนาดใหญ่ที่สุดที่วางแผนไว้ได้
  • การตรวจสอบ blobstore สำเร็จ การอัปโหลดจากไคลเอ็นต์จริงเปิดได้อย่างถูกต้อง และทั้งเมตาเดต้าและเนื้อหาในบัคเก็ตถูกรวมอยู่ในแผนการสำรองข้อมูลและการกู้คืน

ฝากความเห็น

ตั้งค่าโควต้าพื้นที่จัดเก็บข้อมูลเริ่มต้นตามบทบาทผู้ใช้ใน ownCloud oCIS

ตั้งค่าโควต้าพื้นที่จัดเก็บข้อมูลเริ่มต้นตามบทบาทผู้ใช้ใน ownCloud oCIS

กำหนดขีดจำกัดพื้นที่จัดเก็บข้อมูลแบบไบต์ให้กับผู้ใช้ ownCloud Infinite Scale รายใหม่ตามบทบาท โดยใช้ตัวอย่างไฟล์ proxy.yaml และรายการตรวจสอบความปลอดภัยในการยืนยัน

แก้ไขข้อผิดพลาดใบรับรองการซิงค์ ownCloud ที่แหล่งที่มา TLS

แก้ไขข้อผิดพลาดใบรับรองการซิงค์ ownCloud ที่แหล่งที่มา TLS

กู้คืนการซิงค์เดสก์ท็อป ownCloud โดยตรวจสอบชื่อโฮสต์เซิร์ฟเวอร์ ห่วงโซ่ใบรับรอง ความเชื่อถือ CA ส่วนตัว และปัญหาเกี่ยวกับ captive portal โดยไม่ต้องปิดใช้งานการตรวจสอบ TLS

ล้างคำเตือนความสมบูรณ์ของ ownCloud หลังจากอัปเกรด

ใช้รายงานไฟล์ที่ไม่ถูกต้องเพื่อระบุไฟล์หลักหรือลายเซ็นแอปที่ไม่ตรงกัน กู้คืนไฟล์เวอร์ชันที่ถูกต้อง และตรวจสอบความสมบูรณ์ของไฟล์ได้อย่างปลอดภัย

ติดตั้ง ownCloud Infinite Scale ด้วย Docker Compose

ติดตั้ง ownCloud Infinite Scale จากตัวอย่าง Compose อย่างเป็นทางการ กำหนดค่าโดเมนและพื้นที่จัดเก็บข้อมูลถาวร จากนั้นตรวจสอบ TLS คอนเทนเนอร์ และการเข้าสู่ระบบครั้งแรก

กำหนดค่า S3 Blob Storage สำหรับ ownCloud Infinite Scale

กำหนดค่า S3 Blob Storage สำหรับ ownCloud Infinite Scale

ตั้งค่าไดรเวอร์ S3NG, สิทธิ์การเข้าถึงบัคเก็ต, การจัดเก็บข้อมูลเมตาแบบถาวร และขนาดการอัปโหลด เพื่อให้ ownCloud Infinite Scale สามารถจัดเก็บเนื้อหาไฟล์ได้อย่างน่าเชื่อถือ

เมื่อการอัปโหลดไปยัง ownCloud หยุดชะงักที่ 99% โปรดตรวจสอบข้อจำกัดเหล่านี้

เมื่อการอัปโหลดไปยัง ownCloud หยุดชะงักที่ 99% โปรดตรวจสอบข้อจำกัดเหล่านี้

ตรวจสอบสาเหตุที่การอัปโหลดไฟล์ไปยัง ownCloud Server หยุดชะงักก่อนเสร็จสมบูรณ์ โดยตรวจสอบสถานะไฟล์ โควต้า พื้นที่ดิสก์ชั่วคราว ข้อจำกัดของ PHP และการหมดเวลาของพร็อกซี

ล้างคำเตือนของ ownCloud Apache .htaccess อย่างปลอดภัย

ล้างคำเตือนของ ownCloud Apache .htaccess อย่างปลอดภัย

ตั้งค่า AllowOverride All เฉพาะสำหรับเว็บรูทของ ownCloud ตรวจสอบความถูกต้องของ Apache vhost ที่ใช้งานอยู่ และโหลดใหม่อย่างปลอดภัยเพื่อกู้คืนกฎ .htaccess

ตั้งค่า ownCloud Enterprise Auditing และตรวจสอบบันทึกข้อมูล

เปิดใช้งานแอป Enterprise Auditing ของ ownCloud กำหนดเส้นทางเหตุการณ์ admin_audit ไปยังไฟล์บันทึกที่ได้รับการป้องกัน และยืนยันว่าการกระทำของผู้ใช้จริงได้รับการบันทึกแล้ว

เชื่อมต่อ ownCloud Infinite Scale กับ Keycloak ด้วย OIDC

เชื่อมต่อ ownCloud Infinite Scale กับ Keycloak ด้วย OIDC

ปรับการเชื่อมต่อข้อมูลผู้ให้บริการโดเมน เว็บไคลเอ็นต์ และข้อมูลผู้ใช้ของ Keycloak ให้ตรงกัน เพื่อให้ ownCloud Infinite Scale สามารถลงชื่อเข้าใช้ผู้ใช้ได้อย่างน่าเชื่อถือทั้งบนเว็บและไคลเอ็นต์บนมือถือ

ย้ายไฟล์ ownCloud ไปยังเจ้าของใหม่โดยไม่สูญเสียสิทธิ์การแชร์

ถ่ายโอนไฟล์ที่คุณเป็นเจ้าของและแชร์ไฟล์ออกโดยใช้คำสั่ง occ ของ ownCloud ทำความเข้าใจว่าอะไรจะยังคงอยู่ และตรวจสอบสิทธิ์การเข้าถึงก่อนลบบัญชีเก่า