Web scraping-import

Soms staat de data die je wilt op een website en niet in een feed: de catalogus van een leverancier, je eigen winkel op een ander platform, of een referentie-assortiment dat je wilt evenaren. Web scraping-import doorloopt een openbare site, gebruikt AI om elk product te extraheren (naam, SKU, merk, prijs, afbeeldingen, attributen) en importeert ze in WISEPIM. Je hoeft geen bestand voor te bereiden en geen API te koppelen. Wat het je oplevert: breng een leverancier of een bestaande webshop in een paar minuten binnen in plaats van om een feed te vragen, en haal producten naar WISEPIM waar je ze kunt verrijken, vertalen en publiceren.

​

Hoe het werkt

​

Instellingen die je kunt aanpassen

Je stuurt elke scrape met een paar optionele overrides. De standaardinstellingen werken voor de meeste sites, dus gebruik deze alleen wanneer een run een zetje nodig heeft:

• Sitemap-URL override: wijs WISEPIM naar de juiste sitemap wanneer een site er geen aangeeft in zijn robots.txt. Gebruik dit als de sitemap-modus zelf geen product-URL’s kan vinden.
• Override voor product-URL-patroon: vertel WISEPIM welke URL’s als producten tellen (bijvoorbeeld /p/ of /products/) wanneer het automatisch gedetecteerde patroon de verkeerde pagina’s oppikt.
• Max overzichtspagina’s: hoeveel pagineringspagina’s van een categorie worden doorlopen. Verhoog dit voor grote catalogi, houd het laag voor een snelle test.
• Max producten: een bovengrens voor hoeveel producten een run importeert. Een veiligheidslimiet die een eerste run klein en voorspelbaar houdt.

​

Het voorbeeld lezen

Het voorbeeld bestaat zodat je nooit blind importeert:

• Aantal gevonden URL’s vertelt je of de crawl ongeveer het aantal producten heeft gevonden dat je verwachtte. Nul of veel te weinig betekent dat het patroon of de start-URL moet worden aangepast.
• Het gedetecteerde patroon toont welke URL’s als producten worden behandeld. Pikt het categorie- of blogpagina’s op? Scherp het patroon dan aan met de override voor het product-URL-patroon.
• Het geëxtraheerde voorbeeld is de echte test: controleer of naam, prijs, afbeeldingen en belangrijke attributen correct zijn overgekomen voordat je je aan de volledige run vastlegt.

​

Wanneer een site de scraper blokkeert

Sommige webshops zitten achter botbescherming: Cloudflare, DataDome en vergelijkbare diensten die alles blokkeren wat geen echt persoon in een echte browser is. Loopt WISEPIM daartegenaan, dan faalt het niet met een vage foutmelding. Het vertelt je welke site beschermd is en welke dienst blokkeert, en wijst je daarna op de oplossing. De oplossing is de WISEPIM-browserextensie. Die importeert vanaf de pagina die je eigen browser al heeft geladen, waardoor de bescherming nooit van toepassing is: voor de site ben je gewoon een bezoeker die een productpagina leest. Je krijgt dezelfde extractie, op sites die de crawler niet kan bereiken.

​

Importeren met de browserextensie

De extensie werkt op Chrome, Edge en Firefox. De installatie kost een minuut:

​

Classificeer gescrapete producten automatisch

Heeft je project classificatiestandaarden overgenomen, dan kunnen gescrapete imports zichzelf daarin indelen. Voordat er iets anders draait, wordt elk geïmporteerd product getoetst aan de standaarden die je hebt overgenomen. Stel dit in onder Instellingen → Importeren via scraping, in de sectie Classificatie:

• Families toewijzen vanuit ETIM (standaard aan): een product dat overeenkomt met een van je overgenomen ETIM-klassen krijgt de familie van die klasse - met alle attributen - op het moment dat het binnenkomt.
• Categorieën koppelen aan GS1 GPC (standaard aan): gescrapete kruimelpaden landen in je overgenomen GPC-categorieën in plaats van een dubbele boom ernaast te maken.
• Ontbrekende klassen overnemen tijdens import (standaard uit): wanneer een product duidelijk overeenkomt met een klasse of categorie die je nog niet hebt overgenomen, wordt die ter plekke overgenomen. Laat het uit om alleen te gebruiken wat je al hebt overgenomen.

Classificatie is gratis en structureel - het kost geen credits, draait vóór de verrijkingsketen hieronder, en doet simpelweg niets totdat je minstens één standaard hebt overgenomen.

​

Gescrapete producten automatisch verrijken

Een gescrapete productpagina bevat zelden alles wat je wilt. WISEPIM kan dat gat dichten zodra een import klaar is, zonder dat je iets hoeft te selecteren. Ga naar Instellingen → Importeren via scraping en zet de keten aan. Die draait op volgorde bij elke import die de scraper of de extensie binnenhaalt:

1. Webonderzoek verzamelt feiten over elk product van het web. Deze stap vereist het Pro-plan of hoger. Zonder dat plan kun je webonderzoek nog steeds handmatig uitvoeren vanuit de productentabel.
2. Bulk verrijken schrijft de velden die je kiest: beschrijvingen, korte beschrijvingen, titels, SEO-titel en meta, en attributen. Elk veld gebruikt de standaardprompt van je project, tenzij je een andere kiest.

​

Doe iets met wat je vindt

​

Hoe het zich verhoudt

​

Gerelateerd