StreamSets SDK for Python 6.6: Lebih banyak kekuatan, lebih banyak kontrol, dan lebih banyak kolaborasi
StreamSets SDK untuk Python 6.6 dikemas dengan fitur-fitur baru yang kuat yang memudahkan pengguna untuk secara terprogram membangun, mengamankan, dan mengelola pipeline integrasi data mereka dalam skala besar.
Dengan rilis ini, kami membawa 3 kemampuan utama ke SDK: pencarian nilai yang dapat diterima, dukungan proyek, dan aturan akses jaringan. Baik Anda membangun pipeline dari awal, menskalakan StreamSet di seluruh tim, atau mengamankan akses dengan IP, versi 6.6 memberi Anda alat yang Anda butuhkan, semuanya dalam kode.
Membangun pipeline melalui SDK menjadi lebih mudah. Hingga saat ini, pengguna yang membuat skrip definisi pipeline di Python harus merujuk ke UI atau dokumentasi untuk menentukan nilai mana yang valid untuk konfigurasi tahap tertentu, terutama ketika drop down di UI adalah satu-satunya sumber kebenaran tunggal.
Dengan metode nilai yang dapat diterima versi baru, SDK memungkinkan Anda secara terprogram meminta semua nilai yang valid untuk bidang konfigurasi tertentu. Hal ini membuat pembuatan pipeline dinamis dan pengintegrasian StreamSets ke dalam alat khusus menjadi lebih andal, dapat diuji, dan lebih cepat.
Tidak ada lagi trial and error. Hanya konfigurasi yang valid, setiap saat.
Opsi konfigurasi untuk setiap bidang disediakan dengan jelas di UI.
Dengan SDK tersebut, sekarang kita dapat meminta nilai yang dapat diterima untuk setiap tahap:
Contoh: Meminta Nilai yang Dapat Diterima
pipeline = sch.pipelines.get(name="SDK 6.6.0 Demo")
stage = pipeline.stages.get(label="Dev Raw Data Source 1")
stage_name = stage.stage_name
# >> 'com_streamsets_pipeline_stage_devtest_rawdata_RawDataDSource'
# ... atau mendapatkannya dari UI
stage_name_ui = "Sumber Data Mentah Dev 1"
# Meminta objek pipeline_builder
engine = sch.engines.get(id="d94f73b9-6e96-4545-bcbb-9e940c64bf84")
pipeline_builder = sch.get_pipeline_builder(engine_type='data_collector', engine_id=engine.id)
# Meminta opsi
pipeline_builder.get_stage_configuration_options(config_name="JSON Content", stage_name=stage_name_ui)
# Opsi yang ditampilkan >>
[ChooseOption(UI_VALUE='JSON array of objects', SDK_VALUE='ARRAY_OBJECTS'), ChooseOption(UI_VALUE='Multiple JSON objects', SDK_VALUE='MULTIPLE_OBJECTS')]
Mengelola pengembangan multi-tim di lingkungan bersama dahulu merupakan tantangan. Tanpa isolasi, kolaborasi bisa dengan cepat berubah menjadi kekacauan.
Dengan diperkenalkannya proyek di SDK, Anda sekarang dapat membuat, mengatur, dan mengelola Projects, ruang kerja kolaboratif bawaan StreamSets secara terprogram tanpa perlu menggunakan UI. Setiap proyek menyediakan batas yang jelas untuk pipeline, koneksi, pekerjaan, dan aset tim Anda. Proyek mengubah StreamSets menjadi platform multi-tenant yang sesuai untuk perusahaan. Pelanggan mendapatkan kejelasan, keamanan, dan skalabilitas tanpa perlu menerapkan beberapa instance.
Satu instance. Banyak tim. Tanpa hambatan.
Contoh: Mengelola Proyek
project_builder = sch.get_project_builder()
project = project_builder.build(name='Atribusi Kampanye Pemasaran', description= 'Menyerap tayangan iklan dan data clickstream dari berbagai sumber')
sch.add_project(project)
# Beralih ke proyek
sch.current_project = project
# Menambahkan pengguna dan grup ke proyek
project.add_user('John')
project.add_group('Manajemen Produk')
# Memperbarui detail proyek
project.name = 'Kampanye Pemasaran Baru'
sch.update_project(project)
# Menghapus proyek
sch.delete_project(project)
Keamanan tidak boleh menjadi operasi khusus UI.
StreamSets SDK for Python 6.6 memperkenalkan manajemen aturan akses jaringan penuh, yang memberi Anda akses tingkat API untuk menentukan dan mengedit set IP yang diizinkan untuk mengautentikasi dengan lingkungan StreamSets Anda.
Baik Anda mengotomatiskan orientasi, menerapkan StreamSets di hybrid cloud, atau menegakkan kebijakan jaringan, SDK sekarang membantu Anda untuk mengelola keamanan dengan disiplin yang sama seperti infrastruktur Anda lainnya.
Tentukan. Terapkan. Otomatiskan. Semua melalui kode.
Contoh SDK: Mengelola aturan akses jaringan
org = sch.organisasi[0]
# Memeriksa apakah aturan akses jaringan telah diaktifkan. Menampilkan nilai Benar atau Salah
org.ip_auth_enabled
# Mengaktifkan IP Auth
org.ip_auth_enabled = True
# Untuk melihat kumpulan aturan saat ini
org.ip_auth_rules
# Menambahkan & menghapus aturan IP
# org.add_ip_auth_ruleset(ip, bitmask, comment)
org.add_ip_auth_ruleset(“33.45.231.23”, "32", "rumah")
org.remove_ip_auth_ruleset(33.45.231.23", “32”,)
# Ingatlah untuk memperbarui organisasi setelah melakukan perubahan
sch.update_organization(org)
StreamSets SDK for Python 6.6 bukan hanya versi bump, tetapi merupakan kemajuan dalam pengalaman pengembang, skalabilitas perusahaan, dan otomatisasi platform. Fitur-fitur ini dibuat sebagai tanggapan atas masukan dari tim yang mengelola aliran data real-time di lingkungan yang kompleks dan diatur. Dan fitur tersebut membuat StreamSets lebih dapat diskalakan, kuat, dan sesuai untuk perusahaan.
Rilis SDK 6.6 sekarang tersedia di PyPI. Dokumentasi dan cuplikan kode sampel akan segera hadir, tetapi Anda sudah dapat mulai menjelajahi fitur-fitur baru ini di IDE favorit Anda dengan menjalankan perintah pip di bawah ini.