كيف يقوم Lift CLI بترحيل بياناتي الى IBM Db2 Warehouse on Cloud؟

اذا كنت تقوم بترحيل البيانات من قاعدة بيانات IBM PureData System for Analytics (Netezza)‎، فستحتاج أولا الى استخراج جدول قاعدة بيانات محليا الى ملف CSV باستخدام "lift extract". بعد ذلك، ستقوم بنقل ملف بيانات CSV الخاص بك الى IBM Db2 Warehouse on Cloud باستخدام "lift put". يكون لنطاق تحميل IBM Db2 Warehouse on Cloud وحدة تخزين مخصصة مسبقا تستخدم لتحميل البيانات والتحميل الأولي. وأخيرا، ستقوم بتحميل ملف بيانات CSV الى المحرك باستخدام "lift load". بمجرد اكتمال التحميل، يمكنك حذف ملف البيانات باستخدام "lift rm".

اذا كنت تقوم بترحيل مجموعة من ملفات CSV، فستتبع مجموعة مماثلة من الخطوات الموضحة أعلاه. ستبدأ بنقل ملفات بيانات CSV الى نطاق تحميل Db2 Warehouse on Cloud باستخدام "lift put". يكون لنطاق تحميل Db2 Warehouse on Cloud وحدة تخزين مخصصة مسبقا تستخدم لتحميل البيانات والتحميل الأولي. وأخيرا، ستقوم بتحميل ملف بيانات CSV الى المحرك باستخدام "lift load". بمجرد اكتمال التحميل، يمكنك حذف ملف البيانات باستخدام "lift rm".

هل يوجد حد أقصى لحجم قاعدة البيانات التي يمكن ترحيلها؟

لا، يمكنك ترحيل قاعدة البيانات بأي حجم. ولكن ضع في الاعتبار أن مدة ترحيل قاعدة البيانات تعتمد على سرعة اتصال الشبكة وحجم البيانات غير المضغوطة التي تحتاج الى نقلها، وملفات تعريف الأجهزة لحاسبات المصدر والحاسبات المستهدفة. وبعبارة أخرى، قد تختلف المسافة المقطوعة.

ما هي عناصر قاعدة البيانات التي يمكنني ترحيلها؟

يقوم Lift CLI بترحيل الجداول أو ملفات CSV الى الوجهة المستهدفة لبيانات IBM Cloud. اذا كنت بحاجة الى ترحيل عناصر قاعدة البيانات الأخرى، مثل الجداول والمشاهدات والاجراءات المخزنة، فبرجاء استخدام IBM Database Conversion Workbench.

أين يجب تركيب حزمة CLI الخاصة بي للحصول على أفضل أداء؟

نوصي بتركيب CLI وتشغيله من جهاز قريب من الشبكة (أدنى زمن انتقال) الى مصدر قاعدة البيانات الخاصة بك. سيضمن ذلك استخراج وتنظيم البيانات بشكل أسرع في بيئة التشغيل المحلية، وبالتالي تحسين وقت ترحيل البيانات الشامل.

ما هي منافذ الشبكة التي يجب فتحها على النظام المحلي الخاص بي؟

يجب فتح المنافذ التالية على الجهاز الذي يقوم بتشغيل Lift CLI:

الغرضالبروتوكولالاتجاهالوجهة المستهدفة المنفذ
Aspera TransferTCPOUTBOUNDINTERNET33001*
Aspera TransferUDPOUTBOUNDINTERNET33001*
Db2 Warehouse on Cloud SSL-secured JDBCTCPOUTBOUNDINTERNET50001
DB2 Warehouse on Cloud REST Load API TCPOUTBOUNDINTERNET8443
Lift Core ServicesTCPOUTBOUNDINTERNET443

 

*ستكون هناك حركة ارسال واستقبال واردة مرتجعة عند بدء اتصال OUTBOUND بواسطة Lift CLI باتجاه نظام مجموعة Db2 Warehouse on Cloud على المنفذ 33001. سيتم اختيار المنفذ المحلي، الذي سيكون واحدا في نطاق المنفذ المؤقت، بطريقة عشوائية بواسطة نظام التشغيل. جميع جدران الحماية الحديثة ذات حالة (أو مدركة للاتصال أو مدركة للحالة)، ومن المتوقع ألا تكون هناك حاجة لفتح أي منفذ INBOUND.  

ما هي متطلبات التخزين ببيئة التشغيل المحلية لاستخراج بياناتي؟

بالنسبة لنظام Linux و MacOS، يجب أن يكون الحد الأدنى للتخزين أكبر من أو يساوي التمثيل على القرص للجدول الأكبر لديك (غير مضغوط).

بالنسبة لنظام Windows، يجب أن يكون الحد الأدنى للتخزين 2X أكبر من أو يساوي التمثيل على القرص للجدول الأكبر لديك (غير مضغوط).

ماذا لو لم تكن هناك مساحة قرص كافية في Db2 Warehouse on Cloud لنطاق تحميل Analytics لتناسب أكبر جدول لدي؟

يمكنك تشغيل "lift df" للتحقق من مساحة القرص المتاحة في Db2 Warehouse on Cloud لنطاق تحميل Analytics. يمكنك اخلاء مساحة من خلال تشغيل "lift rm". اذا لم يتوافر لديك مساحة كافية، يمكنك تقسيم الجدول الخاص بك الى أجزاء ملفات متعددة وتحميلها بشكل فردي باستخدام اختيار "lift extract –size".

أحب أن يكون Lift سريعا جدا، ولكن هل يمكنني ابطاء التحميل اذا كنت على شبكة محدودة النطاق الترددي؟

بالتأكيد‏.‏ يمكنك استخدام اختيار "lift put --max-throughput" للحد من معدل النقل المستخدم لنقل البيانات.

لا أريد الاستمرار في الكتابة في بيانات اعتماد قاعدة البيانات والاختيارات العامة الأخرى. هل يمكنني تحديد هذه المتغيرات كمتغيرات بيئة تشغيل أو تخزينها في مكان ما للرجوع اليها؟

نعم. يمكنك تحديد بيانات اعتماد الاتصال كمتغيرات بيئة تشغيل. يمكنك أيضا تكوين ملف خصائص، ووضع بيانات اعتماد قاعدة البيانات والاختيارات العامة هناك. ألق نظرة على "lift help <command" لرؤية قائمة بالاختيارات التي يدعمها Lift CLI.

هل يمكنني استخدام IBM Lift CLI للبيانات التي يتم تنظيمها بموجب HIPAA؟

يمكن استخدام IBM Lift CLI لمعالجة Protected Health Information التي يتم تنظيمها بموجب HIPAA اذا قررت الوحدة التابعة، بصفتها المتحكم في البيانات، أن اجراءات الأمان الفنية والتنظيمية مناسبة للمخاطر التي تقدمها المعالجة وطبيعة البيانات المطلوب حمايتها. لم يتم تصميم IBM Lift CLI لمعالجة البيانات التي تنطبق عليها متطلبات تنظيمية اضافية.

كيف يمكن توصيف Lift to CLI للعمل مع HTTP Proxy؟

يمكن انشاء ملف توصيف بيئة تشغيل بالاسم lift.environment في دليل تركيب Lift CLI ‏( ‏‎<Lift CLI install dir>/bin‎‏ ) ‏بالمحتويات التالية لاضافة توصيف HTTP Proxy:

بالنسبة للنظام الرئيسي الى proxy، استخدم ‏‎proxy.host =<hostname>‎‏.‏ بالنسبة لمنفذ proxy، استخدم ‏‎proxy.port =<port number>‎‏. يجب تحديد كلا منهما لكي تصبح المحددات فعالة. اذا كان proxy يتطلب توثيق، يقوم Lift CLI باستخدام التوثيق الأساسي في طلب CONNECT من خلال توفير ‏‎proxy.user =<user>‎‏ و ‏‎proxy.password =<password>‎‏.‏ يجب تحديد كلا منهما لكي تصبح محددات التوثيق فعالة.

مثال لمحتوى ‏‎<Lift CLI install dir>/bin/lift.environment‎‏ (توجد كل خاصية في سطر جديد):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

كيف يمكن اضافة شهادة X509 جديدة الى كشف الشهادات الموثوق بها الى Lift CLI؟

يمكن تكوين ملف خصائص بيئة التشغيل بالاسم lift.environment في دليل تركيب Lift CLI ‏( ‏‎<Lift CLI install dir>/bin‎‏ ) ‏مع المحتويات التالية لاضافة شهادة X509 ليتم استقبالها لوحدة تخزين الشهادات الموثوق بها.

بالنسبة للنظام الرئيسي الى proxy، استخدم ‏proxy.certificate.path ‏=<المسار المصنف بالكامل الى ملف الشهادة X509>.

يتم اضافة الشهادة بالاسم البديل ibm-lift-imported-proxy-cert. اذا كان الاسم البديل موجودا بالفعل، فلن يتم استقبال الملف ويجب ازالته يدويا قبل تشغيل CLI مرة أخرى. يمكنك ازالة الشهادة باستخدام Java keytool في وحدة تخزين الشهادات Lift CLI Java Trust Store في ‏‎<Lift CLI install dir>/jre/lib/security/cacerts‎‏ (على سبيل المثال، ‏‎keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit‎‏).

هل يمكن تركيب Lift CLI مباشرة على PureData System for Analytics؟

نعم، يمكن تركيب Lift CLI على PureData System for Analytics، ولكن يجب ارفاق مساحة تخزين اضافية لتوفير مساحة قرص كافية لترحيل البيانات المستخرجة.

ما هي أفضل الممارسات لالحاق وتوصيف تخزين اضافي لنظام PureData System for Analytics؟

توفر الملاحظات الفنية التالية خطوات لتركيب أنظمة SAN/NFS على أنظمة PureData System for Analytics. وهي تشمل أيضا أفضل الممارسات لارفاق وتوصيف تخزين اضافي لنظام PureData System for Analytics.

1. اضافة SAN Storage الى PureData Systems for Analytics:‏ http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics Mounting NFS على الجهاز:‏ http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. تركيب نظام ملفات NFS على أنظمة PureData for Analytics:‏ http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

على أي جزء من نظام بيئة التشغيل المحلية يجب أن أقوم بتركيب Lift CLI اذا كنت أقوم باستخدام مصادر IBM PureData System for Analytics؟

عند القيام بتركيب مصادر Lift CLI for PureData System for Analytics، يجب تركيب Lift CLI على نظام "injection" الخاص بك (النظام الذي تستخدمه لتنظيم البيانات لتحميلها في قاعدة بيانات PureData System for Analytics). يكون لهذا النظام اتصال جيد الى PureData System for Analytics وسيتوفر لديه مساحة كبيرة على القرص لتجميع البيانات. ومع ذلك، اذا كان نظام التحميل الخاص بك محملا بالكامل بالفعل، فقم بتركيب Lift CLI على نظام مشابه متصل بالمثل وبه مساحة قرص كبيرة للتجميع.

أين يجب أن أقوم بتركيب Lift CLI للحصول على أفضل انتاجية اذا كنت أقوم باستخدام IBM PureData System for Analytics كالمصدر الخاص بي؟

نوصي بشدة بتركيب Lift CLI على جهاز Linux. عندما يتم تركيب Lift CLI على جهاز Linux، يتم استخراج البيانات من مصادر PureData System for Analytics باستخدام امكانيات الغاء التحميل عالية السرعة. قم بتركيب Lift CLI على Linux للحصول على انتاجية عامة أفضل بشكل ملحوظ عندما يكون المصدر الخاص بك هو PureData System for Analytics.

أين يجب تركيب Lift CLI للحصول على أفضل انتاجية اذا كنت أقوم باستخدام IBM Db2 لنظام Linux UNIX ونظام Windows كالمصدر الخاص بي؟

نوصي بشدة بتركيب Lift CLI بجهاز Linux مع تركيب الوحدة التابعة Db2. يقوم تركيب Lift CLI على جهاز Linux الخاص بك مع الوحدة التابعة Db2 بتحسين الانتاجية الاجمالية بشكل كبير. عند فشل Lift CLI في اكتشاف الوحدة التابعة Db2، يتم استخدام استراتيجية استخراج مختلفة وقد تلاحظ انخفاض في معدل الاستخراج. يتم عرض رسالة على شاشة التحكم الرئيسية "يستخرج Lift البيانات بسرعات منخفضة للضوء. يمكنك تحسين وقت الاستخراج عن طريق تركيب وتوصيف الوحدة التابعة Db2. للحصول على مزيد من المعلومات، قم بزيارة http://ibm.biz/BdZcFp" (يوجد الرابط خارج IBM) عندما تكون الوحدة التابعة Db2 غير متاحة بالجهاز الخاص بك حيث تم تركيب Lift CLI.

ما هي متطلبات الوحدة التابعة Db2 لاستخراج البيانات الخاصة بي من IBM Db2 لنظام Linux UNIX ونظام Windows مع أداء أفضل؟

المتطلبات الأساسية الى Lift CLI لاستخدام الوحدة التابعة Db2:

1. يجب أن يكون الأمر db2 (لنظام Linux) أو db2cmd (لنظام Windows) متاحا في PATH.

  • Linux: يجب تطبيق <INSTANCE_OWNER_HOME>/sqllib/db2profile على بيئة التشغيل قبل تنفيذ Lift CLI
  • Windows: يجب تحديد الوحدة التابعة Db2 كالنسخة المفترضة

2. يجب تضمين مستخدم نظام التشغيل في مجموعة SYSADM لنسخة الوحدة التابعة Db2 اذا تم تشغيل Lift CLI عن بعد من IBM Db2 لنظام Linux UNIX ووحدة خدمة Windows.

3. يجب أن يكون اصدار الوحدة التابعة Db2 هو نفس اصدار IBM Db2 لنظام Linux UNIX ووحدة خدمة Windows أو أعلى منه.

هل يمكنني ترحيل الجداول التي تحتوي على أعمدة تم اخفائها من قاعدة بيانات مصدر Db2؟

نعم. يتم دعم استخراج الأعمدة التي تم اخفائها بواسطة Lift CLI. افتراضيا، لا يتم تضمين الأعمدة التي تم اخفائها في ملف CSV المستخرج. اذا كنت تريد تضمين أعمدة تم اخفائها في البيانات المستخرجة، يجب تحديد جميع أسماء الأعمدة بوضوح مع أسماء الأعمدة المخفية باستخدام اختيار تحديد العمود. برجاء الرجوع الى "Lift Extract –مساعدة" للحصول على مزيد من المعلومات عن اختيار تحديد العمود.

ما هي متطلبات الوحدة التابعة Oracle لاستخراج البيانات الخاصة بي من Oracle Server مع أداء أفضل؟

فيما يلي المتطلبات الأساسية الى Lift CLI لاستخدام الوحدة التابعة Oracle:

1. قم بتركيب وحدات البرامج الأساسية والأدوات للوحدة التابعة Oracle.

2. تأكد من اضافة مسار برنامج exp الى متغير بيئة تشغيل PATH.

3. وفقا لبيئة التشغيل الخاصة بك، قد تحتاج الى اضافة مسار مكتبة الوحدة التابعة Oracle الى مسار مكتبة نظام التشغيل (على سبيل المثال، LD_LIBRARY_PATH).

4. يجب أن يكون اصدار الوحدة التابعة Oracle مماثل الى أو أحدث من اصدار وحدة خدمة Oracle.

ملحوظة: لا تحتاج الى توصيف وصلة قاعدة بيانات المصدر مسبقا من الوحدة التابعة Oracle.

هل يمكنني ترحيل جدول يحتوي على حروف عالمية تتضمن مجموعة حروف متعددة البايت؟

نعم. يستخدم Lift CLI صفحة الأكواد UTF-8 ويدعم تحويل البيانات من فئات حروف Oracle شائعة الاستخدام.

فيما يلي كشف بفئات الحروف التي يتم دعمها الى Oracle Database Character Sets (NLS_CHARACTERSET)‎:

AL32UTF8، ‏AR8ISO8859P6، ‏AR8MSWIN1256، ‏BLT8ISO8859P13، ‏BLT8MSWIN1257، ‏CL8ISO8859P5، ‏CL8MSWIN1251، ‏EE8ISO8859P2، ‏EE8MSWIN1250، ‏EL8ISO8859P7، ‏EL8MSWIN1253، ‏IW8ISO8859P8، ‏IW8MSWIN1255، ‏JA16EUC، ‏JA16EUCTILDE، ‏JA16SJIS، ‏JA16SJISTILDE، ‏KO16MSWIN949، ‏NEE8ISO8859P4، ‏TH8TISASCII، ‏TR8MSWIN1254، ‏VN8MSWIN1258، ‏WE8ISO8859P15، ‏WE8ISO8859P9، ‏WE8MSWIN1252، ‏ZHS16GBK، ‏ZHT16HKSCS، ‏ZHT16MSWIN950، ‏ZHT32EUC، ‏ALE16UTF16

يمكنك تحديد فئة الحروف لقاعدة بيانات Oracle الرئيسية باستخدام استعلام SQL التالي:

‏‎SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';‎‏

يتم توصيف الوحدة التابعة Oracle على جهاز Lift CLI الخاص بي، لكن Lift CLI يعرض رسالة مثل "Lift يستخرج البيانات بسرعات منخفضة للضوء. يحتوي جدول المصدر على أنواع بيانات تقلل السرعة التي يمكن أن يقوم بها Lift باستخراج البيانات." لماذا لا يمكنني استخراج البيانات بسرعات أعلى؟

يستخدم Lift CLI نمطا مخفضا اذا كان جدول المصدر يحتوي على أي من أنواع البيانات التالية:

BINARY_FLOAT، ‏BINARY_DOUBLE، ‏LOB، ‏BLOB، ‏CLOB، ‏BFILE، ‏XML، ‏ROWID، ‏UROWID

يتم تقييم كل جدول على حدة. يؤثر هذا الوضع المخفض فقط على عملية استخراج الجدول الحالي بسبب وجود أنواع البيانات المتأثرة.

هل أحتاج الى اعداد Microsoft SQL Server Tools أو الوحدة التابعة لاستخدام Lift CLI؟

لا. لا يحتاج Lift CLI الى أي عمليات اعداد اضافية للأدوات لترحيل البيانات.

بدء استخدام IBM Lift

بدء ترحيل البيانات في دقائق.