الانتقال إلى المحتوى الرئيسي

إدخال ملفات Parquet من حاوية S3

فيما يلي بعض الأساسيات حول استخدام محرك جدول S3 لقراءة ملفات Parquet.
  • أنشئ مفتاح الوصول والمفتاح السري لمستخدم خدمة IAM. فعادةً لا يصلح مستخدمو تسجيل الدخول العاديون، لأنهم قد يكونون مُهيّئين بسياسة MFA.
  • اضبط الأذونات في السياسة بحيث تسمح لمستخدم الخدمة بالوصول إلى الحاوية والمجلدات.
فيما يلي مثال بسيط جدًا يمكنك استخدامه لاختبار آلية الوصول إلى ملفات Parquet بنجاح قبل تطبيق ذلك على بياناتك الفعلية. إذا كنت بحاجة إلى مثال على إنشاء مستخدم وحاوية، فيمكنك اتباع القسمين الأولين (إنشاء مستخدم وإنشاء حاوية): https://clickhouse.com/docs/guides/sre/configuring-s3-for-clickhouse-use/ لقد استخدمت ملفًا نموذجيًا من هنا: https://github.com/Teradata/kylo/tree/master/samples/sample-data/parquet ورفعته إلى حاوية الاختبار الخاصة بي يمكنك ضبط السياسة على الحاوية بشكل مشابه لما يلي: (عدّل حسب الحاجة، فهذا المثال يمنح امتيازات واسعة نسبيًا، لكنه سيساعد في الاختبار. ويمكنك تضييق الأذونات حسب الحاجة)
يمكنك تشغيل الاستعلامات بهذا النوع من الصياغة باستخدام محرك جدول S3: https://clickhouse.com/docs/sql-reference/table-functions/s3/
مرجع أنواع البيانات لتنسيق Parquet موجود هنا: https://clickhouse.com/docs/interfaces/formats/#data-format-parquet لاستيراد البيانات إلى جدول ClickHouse أصلي: أنشئ الجدول على نحوٍ مماثل لما يلي (وقد اخترنا فقط بضعة أعمدة من ملف Parquet):
اختر البيانات من حاوية S3 لإدراجها في الجدول الجديد:
تحقّق من عملية الاستيراد:
عندما تصبح مستعدًا لاستيراد بياناتك الفعلية، يمكنك استخدام بعض الصياغات الخاصة مثل أحرف البدل والنطاقات لتحديد المجلدات والمجلدات الفرعية والملفات داخل الحاوية. أنصحك بتطبيق filter على بضعة مجلدات وملفات لاختبار الاستيراد أولًا، مثل سنة معيّنة، أو شهرين، أو نطاق زمني محدد. إلى جانب خيارات المسار هنا، أُضيفت حديثًا الصياغة **، وهي تحدد جميع المجلدات الفرعية بشكل تكراري. https://clickhouse.com/docs/sql-reference/table-functions/s3/ على سبيل المثال، بافتراض أن المسارات وبنية الحاوية تبدو على النحو التالي: https://your_s3_bucket.s3.amazonaws.com/<your_folder>/<year>/<month>/<day>/<filename>.parquet https://mars-doc-test.s3.amazonaws.com/system_logs/2022/11/01/my-app-logs-0001.parquet سيؤدي ذلك إلى جلب جميع الملفات الخاصة باليوم الأول من كل شهر خلال 2021-2022 https://mars-doc-test.s3.amazonaws.com/system_logs/{2021-2022}/**/01/*.parquet
آخر تعديل في ٢ يوليو ٢٠٢٦