> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wisepim.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Databricks-integratie
> Koppel WISEPIM aan Databricks. Exporteer verrijkte productdata naar Unity Catalog en Delta Lake voor analytics, ML-pipelines en governance.
Koppel WISEPIM aan Databricks om productdata tussen je catalogus en je lakehouse te verplaatsen. Exporteer verrijkte producten naar Unity Catalog en Delta Lake voor analytics en machine learning. Importeer productdata uit upstream pipelines terug in WISEPIM. De stroom werkt in beide richtingen.
De Databricks-integratie is alleen beschikbaar op het **Enterprise-plan**. Neem contact op met ons salesteam voor meer over Enterprise-functies en prijzen.
## Voordat je begint
Zorg dat je het volgende hebt:
* Een WISEPIM-account op het **Enterprise-plan**
* Een Databricks-workspace met Unity Catalog ingeschakeld
* Machtiging om schema's en tabellen aan te maken in je Databricks-catalogus
* Je Databricks **Server Hostname**, **HTTP Path** en een authenticatiemethode (Personal Access Token of OAuth)
## Je verbindingsgegevens ophalen uit Databricks
Verzamel vier zaken uit je Databricks-workspace voordat je de integratie instelt.
Open de URL van je Databricks-workspace en log in.
Ga naar **SQL Warehouses** (of **Compute** voor clusters):
1. Selecteer het SQL-warehouse of cluster waarmee WISEPIM verbinding maakt.
2. Klik op **Connection Details**.
3. Kopieer de **Server Hostname**, zoals `adb-1234567890.1.azuredatabricks.net`.
4. Kopieer het **HTTP Path**, zoals `/sql/1.0/warehouses/abc123def456`.
Kies een van twee methoden.
**Optie A: Personal Access Token**
1. Klik op je gebruikersnaam in de rechterbovenhoek.
2. Ga naar **Settings**, dan **Developer**, dan **Access Tokens**.
3. Klik op **Generate New Token**, geef een beschrijving op zoals `WISEPIM Integration` en stel een vervaldatum in.
4. Kopieer het token nu. Databricks toont het niet opnieuw.
**Optie B: OAuth (Service Principal)**
1. Maak in je Databricks-accountconsole een Service Principal aan.
2. Genereer er een **Client ID** en **Client Secret** voor.
3. Verleen het toegang tot de workspace en de doelcatalogus.
Ga in de zijbalk naar **Data** om Unity Catalog te bekijken:
1. Selecteer of maak de **Catalog** aan die je WISEPIM-data zal bevatten.
2. Selecteer of maak het **Schema** (database) aan binnen die catalogus.
3. Noteer de catalogus- en schemanamen.
Een Personal Access Token heeft dezelfde toegang als je gebruikersaccount. Gebruik voor productie OAuth met een Service Principal die alleen de nodige machtigingen heeft. Roteer referenties regelmatig en deel ze nooit openbaar.
## Databricks koppelen aan WISEPIM
Met je gegevens klaar stel je de integratie in WISEPIM in.
Log in op WISEPIM en ga naar de pagina **Integraties**. Zoek de tegel **Databricks** in de App Marketplace en klik erop.
Vul de velden in:
**Verbindingsinstellingen**
* **Server Hostname**: de hostname van je Databricks-workspace
* **HTTP Path**: het pad naar je SQL-warehouse of cluster
**Authenticatie** (kies er een)
* **Access Token**: je Personal Access Token
* Of **Client ID** en **Client Secret**: je OAuth service principal-referenties
**Datalocatie**
* **Catalog**: je Unity Catalog-naam, zoals `wisepim_data`
* **Schema**: je schemanaam binnen de catalogus, zoals `product_catalog`
Alleen nodig als je data importeert vanuit Databricks naar WISEPIM:
* **Attributes Source Table**: de tabel met attribuutdefinities
* **Attribute Options Source Table**: de tabel met attribuutoptiewaarden
* **Products Source Table**: de tabel met productdata
* **Batch Size**: rijen die per batch worden verwerkt (standaard `1000`)
Klik op **Verbinding testen** om te bevestigen dat WISEPIM je workspace en de gekozen catalogus en schema kan bereiken.
Als de test slaagt, klik je op **Opslaan** om je instellingen op te slaan.
## Productdata exporteren naar Databricks
Push verrijkte producten vanuit WISEPIM naar Delta Lake voor analytics en ML.
Ga naar de pagina **Producten** in WISEPIM.
Selecteer de producten die je wilt exporteren, of selecteer alles.
Klik op **Exporteren** en kies **Databricks** als bestemming. WISEPIM schrijft de data naar Delta Lake-tabellen in je catalogus en schema.
WISEPIM exporteert:
* Productidentificatienummers (ID's, SKU's, EAN/GTIN)
* Productnamen en beschrijvingen (alle talen)
* Prijzen en voorraadinformatie
* Categoriehiërarchieën
* Productattributen en aangepaste velden
* Afbeeldings-URL's en metadata
* Vertaalstatus en kwaliteitsscores
Delta Lake biedt je ACID-transacties, schemahandhaving en tijdreizen. Je kunt historische versies van je productdata op elk moment opvragen.
## Productdata importeren vanuit Databricks
Staat je productdata in Databricks, bijvoorbeeld uit upstream pipelines, dan haal je die naar WISEPIM.
Voeg de **brontabelnamen** toe in je integratie-instellingen.
Klik op **Importeren** op de pagina Producten en kies **Databricks** als bron. WISEPIM leest je tabellen en koppelt de data aan je projectattributen.
Houd je brontabellen op een consistent schema. WISEPIM koppelt kolommen automatisch aan productattributen, en je kunt de koppeling aanpassen met de Attribuut Mapper.
## Batchgrootte afstemmen op grote catalogi
WISEPIM verwerkt data in batches. Stem de batchgrootte af op je catalogus om snelheid en resourcegebruik in balans te houden.
| Catalogusgrootte | Producten | Aanbevolen batchgrootte |
| ---------------- | ------------------ | ------------------------------------------------ |
| Klein | Minder dan 10.000 | `1000` (standaard) |
| Middelgroot | 10.000 tot 100.000 | `5000` |
| Groot | 100.000+ | `10000`, en houd het resourcegebruik in de gaten |
Stel de waarde in het integratievenster in onder **Batch Size**.
## Wat je met je data kunt bouwen
Zodra je producten in Databricks staan, kun je ze inzetten voor analytics en data science.
* Bouw dashboards om productprestaties te volgen over kanalen en markten.
* Ontdek welke attributen correleren met hogere conversiepercentages.
* Vergelijk prestaties over talen en regio's.
* Train productaanbevelingsmodellen met verrijkte data.
* Bouw vraagvoorspellingen uit historische product- en prijsdata.
* Ontwikkel prijsoptimalisatie op basis van marktdata.
* Gebruik WISEPIM-productembeddings voor gelijkeniszoekopdrachten en clustering.
* Volg dataherkomst van bron tot verrijking tot export met Unity Catalog.
* Stel toegangscontroles in voor wie productdata mag lezen en wijzigen.
* Audit elke wijziging met het transactielogboek van Delta Lake.
Gebruik WISEPIM-product-ID's als primaire sleutel wanneer je productdata samenvoegt met verkoop-, voorraad- of klantdata. Zo blijft de identiteit consistent over al je datasets.
## Probleemoplossing
* Controleer of de **Server Hostname** correct is en het volledige domein bevat, zoals `adb-1234567890.1.azuredatabricks.net`.
* Controleer of het **HTTP Path** naar een actief SQL-warehouse of cluster verwijst.
* Zorg dat het warehouse of cluster draait, niet gestopt of beëindigd.
* Bij een Personal Access Token: controleer of het niet is verlopen.
* Bij OAuth: bevestig dat de Service Principal workspace-level toegang heeft.
* Genereer je access token opnieuw als je vermoedt dat het verlopen of gecompromitteerd is.
* Controleer bij OAuth of de Client ID en Client Secret correct zijn.
* Zorg dat de gebruiker of service principal `USE CATALOG` en `USE SCHEMA` heeft op de doelcatalogus en het doelschema.
* Bevestig dat de gebruiker `CREATE TABLE` en `MODIFY` heeft op het doelschema.
* Controleer of de catalogus- en schemanamen correct zijn gespeld en bestaan in Unity Catalog.
* Zijn exports traag? Verklein de batchgrootte of gebruik een groter SQL-warehouse.
* Bekijk het foutenlogboek van WISEPIM voor meldingen van de Databricks API.
* Controleer of de brontabelnamen correct zijn en de tabellen bestaan.
* Bevestig dat de gebruiker `SELECT` heeft op de brontabellen.
* Controleer of de schema's van de brontabellen overeenkomen met het verwachte formaat van WISEPIM.
* Geven imports een time-out? Verklein de batchgrootte.
Databricks-resources (SQL-warehouses, clusters) kosten geld terwijl ze draaien. Stel auto-stop in je workspace in om onverwachte kosten te voorkomen. WISEPIM probeert een gestopt warehouse te starten, wat latentie kan toevoegen aan de eerste bewerking.
## Gerelateerd
Haal producten uit je Databricks-tabellen.
Verbeter productcontent met AI.
Stuur producten naar Delta Lake-tabellen.