Databricks-integratie

​

Databricks-integratie

Databricks is een geünificeerd data- en AI-platform gebouwd op de lakehouse-architectuur. Door WISEPIM te koppelen aan Databricks kun je je verrijkte productdata rechtstreeks exporteren naar Unity Catalog en Delta Lake-tabellen, waardoor geavanceerde analytics, machine learning-workflows en enterprise-grade datagovernance over je gehele productcatalogus mogelijk worden.

​

Vereisten

Zorg ervoor dat je het volgende hebt voordat je begint:

• Een WISEPIM-account op het Enterprise-plan
• Een Databricks-workspace met Unity Catalog ingeschakeld
• De juiste machtigingen om schema’s en tabellen aan te maken in je Databricks-catalogus
• Je Databricks Server Hostname, HTTP Path en een authenticatiemethode (Personal Access Token of OAuth-referenties)

​

Je Databricks-verbindingsgegevens ophalen

Je hebt verschillende gegevens nodig van je Databricks-workspace om de verbinding tot stand te brengen.

​

Databricks koppelen aan WISEPIM

Zodra je je verbindingsgegevens hebt verzameld, configureer je de integratie in WISEPIM.

​

Data Pipeline-configuratie

De Databricks-integratie ondersteunt bidirectionele datastroom tussen WISEPIM en je data lakehouse.

​

Productdata exporteren naar Databricks

Je kunt je verrijkte productdata vanuit WISEPIM naar Databricks pushen voor analytics en ML-toepassingen:

1. Ga naar de pagina Producten in WISEPIM
2. Selecteer de producten die je wilt exporteren (of selecteer alles)
3. Klik op Exporteren en kies Databricks als bestemming
4. WISEPIM schrijft de data naar Delta Lake-tabellen in je opgegeven catalogus en schema

De volgende data wordt geëxporteerd:

• Productidentificatienummers (ID’s, SKU’s, EAN/GTIN)
• Productnamen en beschrijvingen (alle talen)
• Prijzen en voorraadinformatie
• Categoriehiërarchieën
• Productattributen en aangepaste velden
• Afbeeldings-URL’s en metadata
• Vertaalstatus en kwaliteitsscores

​

Productdata importeren vanuit Databricks

Als je productdata zich in Databricks bevindt (bijvoorbeeld uit upstream datapipelines), kun je deze importeren in WISEPIM:

1. Configureer de brontabelnamen in je integratie-instellingen
2. Klik op Importeren op de pagina Producten en selecteer Databricks als bron
3. WISEPIM leest uit je opgegeven tabellen en koppelt de data aan je projectattributen

​

Analytics-toepassingen

Zodra je productdata in Databricks staat, kun je deze gebruiken voor diverse analytics- en data science-workflows:

​

Productprestatie-analytics

• Bouw dashboards om productprestaties te volgen over kanalen en markten
• Analyseer welke productattributen correleren met hogere conversiepercentages
• Vergelijk prestaties over verschillende talen en regio’s

​

Machine Learning Pipelines

• Train productaanbevelingsmodellen met verrijkte productdata
• Bouw vraagvoorspellingsmodellen met historische product- en prijsdata
• Ontwikkel prijsoptimalisatie-algoritmen op basis van marktdata
• Gebruik de productembeddings van WISEPIM voor gelijkeniszoekopdrachten en clustering

​

Datagovernance

• Volg dataherkomst van bron tot verrijking tot export met Unity Catalog
• Stel toegangscontroles in om te beheren wie productdata kan lezen en wijzigen
• Audit alle datawijzigingen met het transactielogboek van Delta Lake

​

Batchverwerking configureren

Voor grote productcatalogi kun je de batchgrootte configureren om de prestaties te optimaliseren:

• Kleine catalogi (minder dan 10.000 producten): De standaard batchgrootte van 1.000 werkt goed
• Middelgrote catalogi (10.000 - 100.000 producten): Overweeg te verhogen naar 5.000 per batch
• Grote catalogi (100.000+ producten): Gebruik 10.000 per batch en monitor het resourcegebruik

Je kunt de batchgrootte aanpassen in het configuratievenster van de integratie onder het veld Batch Size.

​

Probleemoplossing

Als je problemen ondervindt met je Databricks-integratie, probeer dan het volgende:

​

Verbindingsfouten

• Controleer of de Server Hostname correct is en het volledige domein bevat (bijv. adb-1234567890.1.azuredatabricks.net)
• Controleer of het HTTP Path verwijst naar een actief SQL-warehouse of cluster
• Zorg ervoor dat je SQL-warehouse of cluster draait (niet in een gestopte/beëindigde status)
• Controleer bij gebruik van een Personal Access Token of het niet is verlopen
• Controleer bij gebruik van OAuth of de Service Principal workspace-level toegang heeft

​

Authenticatieproblemen

• Genereer je access token opnieuw als je vermoedt dat het is gecompromitteerd of verlopen
• Controleer bij OAuth of de Client ID en Client Secret correct zijn
• Zorg ervoor dat de geauthenticeerde gebruiker of service principal USE CATALOG- en USE SCHEMA-privileges heeft op de doelcatalogus en het doelschema

​

Problemen met data-export

• Bevestig dat de geauthenticeerde gebruiker CREATE TABLE- en MODIFY-privileges heeft op het doelschema
• Controleer of de catalogus- en schemanamen correct zijn gespeld en bestaan in Unity Catalog
• Als exports traag zijn, probeer dan de batchgrootte te verkleinen of een groter SQL-warehouse te gebruiken
• Bekijk het foutenlogboek van WISEPIM voor specifieke foutmeldingen van de Databricks API

​

Problemen met data-import

• Verifieer dat de brontabelnamen correct zijn en de tabellen bestaan
• Bevestig dat de geauthenticeerde gebruiker SELECT-privileges heeft op de brontabellen
• Controleer of de schema’s van de brontabellen compatibel zijn met het verwachte formaat van WISEPIM
• Als imports een time-out geven, probeer dan de batchgrootte te verkleinen

​

Volgende stappen

Zodra je Databricks-integratie is ingesteld, kun je:

• Producten importeren vanuit je Databricks-tabellen
• Je producten verrijken met AI-gestuurde contentoptimalisatie
• Producten exporteren naar Delta Lake-tabellen voor analytics
• Dashboards en ML-modellen bouwen met je verrijkte productdata in Databricks
• Geplande exports instellen voor continue datasynchronisatie