Veri Mimarisi

Veri mimarisi, proses verisinin mindzieStudio'ya nasıl aktığını, zenginleştirme yoluyla nasıl dönüştürüldüğünü ve dışa aktarılabileceğini veya otomatik işlemleri tetiklemek için nasıl kullanılabileceğini gösterir. Bu veri yollarını anlamak, etkili veri entegrasyon stratejileri tasarlamanıza yardımcı olur.

Veri Mimarisi

Genel Bakış

mindzieStudio, birden fazla veri giriş yöntemini, merkezi bir API katmanını ve çeşitli çıkış seçeneklerini destekler. Bu esnek mimari, proses madenciliğini mevcut veri ekosisteminize entegre etmenize olanak tanır.

Veri Giriş Kaynakları

Proses verisini mindzieStudio'ya getirmek için birkaç yol vardır:

Manuel Yükleme

En basit yöntem, dosyaları doğrudan mindzieStudio arayüzü üzerinden yüklemektir. Desteklenen formatlar şunlardır:

  • CSV dosyaları: Standart virgülle ayrılmış değerler
  • Excel dosyaları: .xlsx elektronik tablolar
  • Parquet dosyaları: Büyük veri kümeleri için sütun bazlı depolama formatı
  • ZIP arşivleri: Birden fazla dosya içeren sıkıştırılmış paketler

Manuel yükleme, ad-hoc analizler, kavramsal doğrulama projeleri veya verilerin kaynak sistemlerden zaten dışa aktarıldığı durumlar için idealdir.

mindzie Data Designer

mindzie Data Designer, kaynak veritabanlarınız ve sistemlerinizle doğrudan bağlantı kuran görsel bir araçtır. Şunları yapmanızı sağlar:

  • Veri şemalarını görsel olarak tanımlamak
  • Kaynak sütunlarını olay günlüğü formatına eşlemek
  • Otomatik veri yenileme planlamak
  • Veri çıkarımı sırasında dönüştürme yapmak

Data Designer, SQL Server, Oracle, PostgreSQL, MySQL, SAP HANA ve birçok diğer büyük veritabanlarına bağlantıyı destekler.

Üçüncü Taraf ETL Araçları

Kuruluşunuz halihazırda ETL (Extract, Transform, Load) altyapısına sahipse, standart veri boru hatları aracılığıyla mindzieStudio ile entegre olabilirsiniz. Bu yöntem, mevcut veri mühendisliği yeteneklerinizi ve yönetim süreçlerinizi kullanmanızı sağlar.

Geliştirici Veri Yüklemesi

Programatik erişim için, mindzieStudio API geliştiricilerin şunları yapmasına olanak tanır:

  • HTTP uç noktaları aracılığıyla veri seti yüklemek
  • Özel uygulamalardan veri yenilemeyi otomatikleştirmek
  • CI/CD boru hatları ile entegrasyon sağlamak
  • Özel veri bağlayıcıları oluşturmak

Bu, otomatik veri boru hatları kuran veya proses madenciliğini daha büyük sistemlere entegre eden kuruluşlar için uygundur.

Mulesoft Entegrasyonu

Mulesoft kullanan kurumsal organizasyonlar, entegre akışlarında mindzieStudio'yu API uç noktası olarak bağlayabilir. Bu, proses verisinin daha geniş kurumsal entegrasyon stratejisinin bir parçası olarak akmasını sağlar.

API

API, mindzieStudio’da tüm veri hareketlerinin merkezi kapısıdır. Veriler - ister manuel ister otomatik olarak yüklensin - API katmanından geçer.

API şunları sağlar:

  • Kimlik Doğrulama: Bearer tokenlar üzerinden güvenli erişim
  • Doğrulama: Veri formatı ve şema doğrulama
  • Yönlendirme: Verinin uygun işlem bileşenlerine yönlendirilmesi
  • Erişim Kontrolü: Kiracı ve proje düzeyi izinler

API, mindzieStudio’nun Enterprise Server ve SaaS sürümlerinde mevcuttur.

Veri Seti

Veri mindzieStudio’ya girdikten sonra Veri Seti olarak depolanır. Veri setleri:

  • Sıkıştırılmıştır: Verimli ikili depolama formatı
  • Doğrulanmıştır: Gerekli sütunlar ve veri tipleri kontrol edilir
  • Sürüm Yönetimi Vardır: Önceki yüklemeler karşılaştırma için saklanabilir

Her veri seti, üç temel olay günlüğü sütununu içermelidir:

  • Case ID (her proses örneği için tanımlayıcı)
  • Aktivite (her aşamanın adı)
  • Timestamp (her aşamanın gerçekleşme zamanı)

Ek nitelik sütunları iş ile ilgili herhangi bir veriyi içerebilir.

Python ile Zenginleştirme

Zenginleştirme katmanı, ham veri setlerini analiz için hazır verilere dönüştürür. Zenginleştirmeler şunları içerebilir:

  • Dahili dönüşüm operatörleri
  • Gelişmiş mantık için özel Python betikleri
  • İş kuralları hesaplamaları
  • Veri kalitesi düzeltmeleri

Python Entegrasyonu size şunları sağlar:

  • Özel dönüşüm mantığı yazma
  • Python veri bilimi kütüphanelerinden faydalanma
  • Yeniden kullanılabilir dönüşüm betikleri oluşturma
  • Karmaşık veri işleme senaryolarını yönetme

Zenginleştirmeler arka planda çalışır ve analiz sırasında hızlı erişim için sonuçlarını önbelleğe alır.

İnceleme ve Analiz

İnceleme katmanı, analizlerin yapıldığı yerdir. İncelemeler içinde:

  • Belirli veri alt kümelerine odaklanmak için filtreler uygulanır
  • Sıralı bloklardan oluşan analiz defterleri oluşturulur
  • Hesaplayıcılarla içgörüler üretilir
  • Görselleştirmeler oluşturulur

Analiz sonuçları önbelleğe alınır ve kaynak veri güncellendiğinde yenilenebilir.

Çıkış ve Entegrasyon

mindzieStudio, veriyi dışa aktarmak ve harici sistemlerle entegre etmek için birden çok yol sunar:

İşlemler

İşlemler, programlanan zamanlarda veya tetikleyicilerle çalışan otomatik iş akışlarıdır. İşlemler şunları yapabilir:

  • Özel işlemler için Python betikleri çalıştırmak
  • Harici HTTP API’lerini çağırmak
  • Veriyi harici sistemlere aktarmak
  • Birden fazla adımı zincirlemek
  • Hata durumunda yedek işlemlerle yönetmek

İşlemler, proses içgörülerinin gerçek dünya yanıtlarını tetiklemesini sağlayarak operasyonel entegrasyonu mümkün kılar.

API Dışa Aktarımı

Harici sistemler mindzieStudio’dan API yoluyla şunları yapabilir:

  • Analiz sonuçlarını programatik olarak almak
  • Panoların verilerini diğer uygulamalara çekmek
  • Proses metriklerini raporlama sistemlerine entegre etmek
  • Harici araçlarda operasyonel panoları desteklemek

CSV Dışa Aktarımı

Basit veri dışa aktarımı için analiz sonuçlarını CSV dosyası olarak indirebilirsiniz. Bu, aşağıdaki durumlarda faydalıdır:

  • mindzieStudio erişimi olmayan paydaşlarla veri paylaşmak
  • Veriyi elektronik tablo araçlarına yüklemek
  • Analiz sonuçlarının yedek kopyalarını oluşturmak

Veri Akış Özeti

mindzieStudio üzerinden tamamlanan veri akışı şöyledir:

  1. Giriş: Veriler Manuel Yükleme, Data Designer, ETL araçları, API veya Mulesoft ile gelir
  2. Geçiş: API veriyi doğrular, kimlik doğrulaması yapar ve yönlendirir
  3. Depolama: Veri sıkıştırılmış Veri Setleri olarak depolanır
  4. Dönüşüm: (Opsiyonel Python ile) Zenginleştirmeler veriyi hazırlar
  5. Analiz: İncelemeler ve defterler içgörüler üretir
  6. Çıkış: Sonuçlar İşlemler, API kullanıcıları veya CSV dışa aktarımlarına yönlendirilir

Bu mimari, hem etkileşimli analiz hem otomatik operasyonel iş akışlarını destekler ve mindzieStudio’yu hem ad-hoc keşifler hem de üretim süreç izleme için uygun hale getirir.