Lift CLI, verilerimi IBM Db2 Warehouse on Cloud'a nasıl taşır?

Verileri IBM PureData System for Analytics (Netezza) veritabanınızdan taşıyorsanız, öncelikle “lift extract” komutunu kullanarak bir veritabanı tablosunu CSV dosyasına yerel olarak çıkarmanız gerekir. Ardından, CSV veri dosyanızı “lift put” komutunu kullanarak IBM Db2 Warehouse on Cloud giriş bölgesine aktarırsınız. IBM Db2 Warehouse on Cloud giriş bölgesi, veri yükleme ve silme işlemleri için kullanılan önceden ayrılmış bir birimdir. Son olarak, karşıya yüklenen CSV veri dosyasını “lift load” komutunu kullanarak motora yüklersiniz. Yükleme tamamlandıktan sonra “lift rm” komutunu kullanarak veri dosyasını silebilirsiniz.

Bir grup CSV dosyasını taşıyorsanız, yukarıdakine benzer bir dizi adımı izlersiniz. CSV veri dosyalarınızı, “lift put” komutunu kullanarak Db2 Warehouse on Cloud giriş bölgesine aktarmakla işe başlarsınız. Db2 Warehouse on Cloud giriş bölgesi, veri yükleme ve silme işlemleri için kullanılan önceden ayrılmış bir birimdir. Son olarak, karşıya yüklenen CSV veri dosyasını “lift load” komutunu kullanarak motora yüklersiniz. Yükleme tamamlandıktan sonra “lift rm” komutunu kullanarak veri dosyasını silebilirsiniz.

Taşıyabileceğim veritabanlarının boyutunda bir üst sınır var mı?

Hayır, herhangi bir boyuttaki veritabanını taşıyabilirsiniz. Ancak, veritabanı geçiş işlemi süresinin ağ bağlantınızın hızına, taşımanız gereken sıkıştırılmamış verilerin hacmine ve kaynak-hedef bilgisayarlarınızın donanım profillerine bağlı olduğunu unutmayın. Diğer bir deyişle, geçiş işlemi süresi farklılık gösterebilir.

Hangi veritabanı öğelerini taşıyabilirim?

Lift CLI, tablolarınızı ya da CSV dosyalarınızı bir IBM Cloud veri hedefine taşır. Tablolar, görünümler, saklanmış yordamlar gibi diğer veritabanı öğelerini taşımanız gerekiyorsa, lütfen IBM Database Conversion Workbench'i kullanın.

En iyi performansı elde etmek için CLI paketimi nerede kurmalıyım?

CLI'yı, ağ açısından veritabanı kaynağınıza yakın (minimum gecikme süresine sahip) bir makinede kurup buradan çalıştırmanızı öneririz. Bu, verilerinizin şirket içi ortamınızda daha hızlı bir şekilde çıkartılmasını ve hazırlanmasını sağlar; böylece toplam uçtan uca veri taşıma süreniz kısalır.

Şirket içi sistemimde hangi ağ bağlantı noktalarının açık olması gerekir?

Lift CLI'yı çalıştıran makinede aşağıdaki bağlantı noktaları açık olmalıdır:

AmaçProtokolYönHedefBağlantı Noktası
Aspera TransferTCPGİDENİNTERNET33001*
Aspera TransferUDPGİDENİNTERNET33001*
Db2 Warehouse on Cloud SSL ile güvenliği sağlanan JDBCTCPGİDENİNTERNET50001
DB2 Warehouse on Cloud REST Yükleme API'siTCPGİDENİNTERNET8443
Lift Core ServicesTCPGİDENİNTERNET443

 

*Lift CLI tarafından, 33001 numaralı bağlantı noktasındaki Db2 Warehouse on Cloud kümesine GİDEN bağlantı başlatıldığında, gelen dönüş trafiği olacaktır. Geçici bağlantı noktası aralığında yer alacaklardan biri olan yerel bağlantı noktası, işletim sistemi tarafından rastgele seçilecektir. Tüm modern güvenlik duvarları durum bilgili (veya bağlantıya duyarlı ya da duruma duyarlı) olma özelliğine sahiptir ve herhangi bir GELEN bağlantı noktası açılmasının gerekmemesi beklenir. 

Verilerimi çıkarmak için şirket içi depolama gereksinimleri nelerdir?

Linux ve MacOS için minimum depolama alanı, en büyük tablonuzun (sıkıştırılmamış) disk üzerindeki gösteriminden daha büyük ya da buna eşit olmalıdır.

Windows için minimum depolama alanı, en büyük tablonuzun (sıkıştırılmamış) disk üzerindeki gösteriminden iki kat büyük ya da buna eşit olmalıdır.

Db2 Warehouse on Cloud for Analytics giriş bölgesinde en büyük tablomun sığacağı yeterlilikte bir disk alanı yoksa ne olur?

Db2 Warehouse on Cloud for Analytics giriş bölgesinde kullanılabilir disk alanı olup olmadığını kontrol etmek için “lift df” komutunu çalıştırabilirsiniz. “lift rm” komutunu çalıştırarak boş alan yaratabilirsiniz. Hala yeterli alana sahip değilseniz, tablonuzu birden çok dosya öbeğine bölebilir ve “lift extract –size” seçeneğini kullanarak bunları teker teker karşıya yükleyebilirsiniz.

Lift'in çok hızlı olmasına bayılıyorum, ama sınırlı bant genişliğine sahip bir ağ üzerinde bulunuyorsam karşıya yükleme hızımı yavaşlatabilir miyim?

Elbette. Veri aktarma işlemi tarafından kullanılan aktarım hızını sınırlamak için “lift put --max-throughput” seçeneğini kullanabilirsiniz.

Veritabanı kimlik bilgilerimi ve sık kullandığım diğer seçenekleri sürekli olarak yeniden girmek istemiyorum. Bunları bir ortam değişkeni olarak ayarlayabilir ya da referans için bir yerde saklayabilir miyim?

Evet. Bağlantı kimlik bilgilerini ortam değişkeni olarak ayarlayabilirsiniz. Ayrıca, bir özellikler dosyası oluşturup veritabanı kimlik bilgilerinizi ve sık kullandığınız seçenekleri buraya yerleştirebilirsiniz. Lift CLI'nın desteklediği seçeneklerin listesini görmek için “lift help <command“ seçeneğine göz atın.

HIPAA kapsamında denetlenen veriler için IBM Lift CLI'yı kullanabilir miyim?

Müşteri, veri denetleyicisi olarak, teknik ve organizasyonel güvenlik önlemlerinin, korunması gereken verilerin işlenmesinden ve bu verilerin doğasından kaynaklanan risklere uygun olduğu kararına vardığı takdirde IBM Lift CLI, HIPAA kapsamında denetlenen Korunan Sağlık Bilgilerini işlemek için kullanılabilir. IBM Lift CLI, ek mevzuat gereksinimlerinin geçerli olduğu verileri işlemek üzere tasarlanmamıştır.

Bir HTTP yetkili sunucusuyla çalışmak için Lift CLI'yı nasıl yapılandırabilirim?

HTTP yetkili sunucusu yapılandırması eklemek için, aşağıdaki içeriklerle Lift CLI kurulumu bin dizininde bulunan lift.environment adlı bir ortam yapılandırma dosyası ( <Lift CLI install dir>/bin ) oluşturulabilir:

Yetkili sunucu anasistemi için şunu kullanın: proxy.host =<anasistem adı>. Yetkili sunucu bağlantı noktası için şunu kullanın: proxy.port =<bağlantı noktası numarası>. Ayarların geçerli olması için her ikisinin de belirtilmesi gerekir. Yetkili sunucu bir kimlik doğrulaması gerektiriyorsa, Lift CLI, proxy.user =<kullanıcı> ve proxy.password =<parola> seçeneklerini sağlayarak CONNECT isteğinde temel kimlik doğrulamasını kullanır. Kimlik doğrulama ayarlarının geçerli olması için her ikisinin de belirtilmesi gerekir.

<Lift CLI install dir>/bin/lift.environment içeriklerinin örneği (her özellik yeni bir satırda bulunur):

proxy.host =yetkili.anasistemim

proxy.port =3029

proxy.user =yetkilikullanicim

proxy.password =yetkiliparolam

Lift CLI'ya ilişkin güvenilir sertifikalar listesine yeni bir X509 sertifikasını nasıl ekleyebilirim?

Güven deposuna aktarılacak bir X509 sertifikası eklemek için, aşağıdaki içeriklerle Lift CLI kurulumu bin dizininde bulunan lift.environment adlı bir ortam özellik dosyası (<Lift CLI install dir>/bin ) oluşturulabilir:

Yetkili sunucu anasistemi için şunu kullanın: proxy.certificate.path =<X509 sertifika dosyasının tam yol adı>.

Sertifika, ibm-lift-imported-proxy-cert diğer adıyla eklenir. Diğer ad zaten varsa, dosya içe aktarılmaz ve CLI tekrar çalıştırılmadan önce manuel olarak kaldırılmalıdır. <Lift CLI install dir>/jre/lib/security/cacerts (keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit) içinde yer alan Lift CLI Java güven deposundaki Java keytool'u kullanarak sertifikayı kaldırabilirsiniz.

Lift CLI doğrudan PureData System for Analytics üzerinde kurulabilir mi?

Evet; Lift CLI, PureData System for Analytics üzerinde kurulabilir. Ancak çıkarılan veriler için yeterli hazırlama disk alanını sağlamak üzere ilave depolama alanı eklenmelidir.

PureData System for Analytics için ek depolama eklemeye ve yapılandırmaya yönelik en iyi uygulamalar nelerdir?

Aşağıdaki teknik notlarda, PureData Systems for Analytics üzerinde SAN/NFS sistemlerinin bağlanması için gereken adımlar yer alır. Bunlar ayrıca, PureData System for Analytics için ek depolama eklemeye ve yapılandırmaya yönelik en iyi uygulamalardır.

1. PureData Systems for Analytics'e SAN Storage eklemekle ile ilgili notlar için: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics: NFS'yi araç üzerinde bağlamakla ilgili notlar için: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. : PureData for Analytics sistemleri üzerinde NFS dosya sistemi bağlamakla ilgili notlar için: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

IBM PureData System for Analytics kaynaklarını kullanıyorsam, Lift CLI'yı şirket içi sistemimin hangi kısmında kurmalıyım?

PureData System for Analytics kaynakları için Lift CLI'yı kurarken, bunu "enjeksiyon" sisteminize (verileri PureData System for Analytics veritabanına yüklemek üzere hazırlamak için kullandığınız sistem) kurun. Bu sistem, PureData System for Analytics için iyi bir bağlanırlığa ve verileri hazırlamak için bol miktarda disk alanına sahip olacaktır. Ancak, enjeksiyon sisteminiz zaten tamamen yüklenmiş durumdaysa, Lift CLI'yı benzer bir şekilde bağlı olan ve hazırlama için kayda değer miktarda disk alanına sahip olan benzer bir sisteme kurun.

Kaynak olarak IBM PureData System for Analytics'i kullandığım takdirde, en iyi aktarım hızı için Lift CLI'yı nereye kurmalıyım?

Lift CLI'yı bir Linux makinesine kurmanızı şiddetle öneririz. Lift CLI, bir Linux makinesine kurulduğunda PureData System for Analytics kaynaklarından veri çıkarma işlemi yüksek hızlı yüklemeyi kaldırma (unload) olanaklarıyla gerçekleştirilir. Kaynağınız PureData System for Analytics olduğunda, çok daha iyi genel aktarım hızı için Lift CLI'yı Linux üzerine kurun.

Kaynak olarak IBM Db2 for Linux UNIX and Windows'u kullandığım takdirde, en iyi aktarım hızı için Lift CLI'yı nereye kurmalıyım?

Lift CLI'yı Db2 istemcisi kurulu olan bir Linux makinesine kurmanızı şiddetle öneririz. Lift CLI'nın Db2 istemcisi olan Linux makinenize kurulması, toplam aktarım hızını önemli ölçüde iyileştirir. Lift CLI, Db2 istemcisini algılayamazsa farklı bir çıkarma stratejisi kullanılır ve çıkarma işlemine yönelik aktarım hızında düşüş fark edebilirsiniz. Lift CLI'nın kurulu olduğu makinenizde Db2 istemcisi kullanılamadığında, konsol üzerinde "Lift, verileri ışık hızı altında hızlarda çıkarıyor. Db2 istemcisini kurup yapılandırarak çıkarma süresini iyileştirebilirsiniz. Daha fazla bilgi için http://ibm.biz/BdZcFp adresini ziyaret edin” (bağlantı IBM dışındadır) şeklindeki bir ileti yazdırılır.

IBM Db2 for Linux UNIX and Windows'tan verilerimi daha iyi bir performans ile çıkarmaya yönelik Db2 istemcisi gereksinimleri nelerdir?

Lift CLI ile Db2 istemcisinin kullanımına ilişkin önkoşullar:

1. db2 (Linux için) ya da db2cmd (Windows için) komutu, PATH ortam değişkeninde kullanılabilir olmalıdır.

  • Linux: <INSTANCE_OWNER_HOME>/sqllib/db2profile, Lift CLI yürütülmeden önce ortama uygulanmalıdır
  • Windows: Db2 istemcisinin varsayılan eşgörünüm olarak ayarlanması gerekir

2. Lift CLI, IBM Db2 for Linux UNIX and Windows sunucusundan uzaktan çalıştırılıyorsa işletim sistemi kullanıcısının, Db2 istemci eşgörünümüne ilişkin SYSADM grubuna eklenmesi gerekir.

3. Db2 istemcisinin sürümü, IBM Db2 for Linux UNIX and Windows sunucusuyla aynı ya da daha yüksek bir sürüm olmalıdır.

Bir Db2 kaynak veritabanından, gizli sütunlar içeren tabloları taşıyabilir miyim?

Evet. Lift CLI, gizli sütunların çıkarılmasını destekler. Varsayılan olarak, gizli sütunlar çıkarılan CSV dosyasına dahil edilmez. Gizli sütunları çıkarılan verilere dahil etmek istiyorsanız, sütun seçimi seçeneğini kullanarak gizli sütun adlarıyla birlikte tüm sütun adlarını açık bir şekilde belirtin. Sütun seçimi seçeneğiyle ilgili daha fazla bilgi edinmek için “lift extract –help” bölümüne bakın.

Bir Oracle sunucusundan verilerimi daha iyi bir performans ile çıkarmaya yönelik Oracle istemcisi gereksinimleri nelerdir?

Aşağıda, Lift CLI için Oracle istemcisinin kullanımına ilişkin önkoşullar bulunmaktadır:

1. Oracle istemcisinin Basic (Temel) ve Tools (Araçlar) modüllerini kurun.

2. PATH ortam değişkenine exp program yolunun eklendiğinden emin olun.

3. Ortamınıza bağlı olarak, Oracle istemci kitaplığı yolunu işletim sistemi kitaplık yoluna eklemeniz gerekebilir (örneğin LD_LIBRARY_PATH).

4. Oracle istemcisi sürümü, Oracle sunucusu sürümüyle aynı ya da daha sonraki bir sürüm olmalıdır.

Not: Oracle istemcisinden kaynak veritabanı bağlantısını önceden yapılandırmanız gerekmez.

Çok baytlı bir karakter kümesini içeren uluslararası karakterlerin olduğu bir tabloyu taşıyabilir miyim?

Evet. Lift CLI, bir UTF-8 kod sayfasını kullanır ve yaygın olarak kullanılan Oracle karakter kümelerinden veri dönüştürmeyi destekler.

Aşağıda, desteklenen Oracle Veritabanı Karakter Kümelerinin (NLS_CHARACTERSET) bir listesi yer alır:

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

Aşağıdaki SQL sorgusunu kullanarak, kaynak Oracle veritabanının karakter kümesini belirleyebilirsiniz:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Oracle istemcisi, Lift CLI makinemde yapılandırılmış durumda, ancak Lift CLI'de şöyle bir ileti görüntüleniyor: “Lift, verileri ışık hızı altı hızlarda çıkarıyor. Kaynak tablo, Lift'in verileri çıkarabileceği hızı azaltan veri türlerini içeriyor.” Verileri neden daha yüksek hızlarda çıkaramıyorum?

Kaynak tabloda aşağıdaki veri türlerinden herhangi biri varsa, Lift CLI düşük düzey bir mod kullanır:

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Her tablo ayrı olarak değerlendirilir. Bu düşük düzey mod, etkilenen veri türlerinin varlığı nedeniyle yalnızca mevcut tablo çıkarma işlemini etkiler.

Lift CLI'yı kullanmak için Microsoft SQL Server Tools'u ya da istemciyi kurmam gerekiyor mu?

Hayır. Lift CLI, veri geçişi için başka herhangi bir araç kurulumuna gerek duymaz.

IBM Lift ile çalışmaya başlayın

Veri geçişi işlemine dakikalar içinde başlayın.