// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
heise+ | Webseiten intelligent auslesen: Smarter scrapen mit Python und KI
Mit Python lassen sich Webseiten scrapen. KI macht den Scraper flexibler: Sie erkennt Inhalte auch dann, wenn HTML-Strukturen oder Formulierungen variieren.
Ob Preise, Nachrichten oder Produktdaten: Mit Scraping kann man beliebige Daten in regelmäßigen Abständen aus dem Web zusammentragen und verarbeiten. Über ein Python-Programm lässt sich dieser Vorgang automatisieren: Bibliotheken wie BeautifulSoup können Webseitenstrukturen analysieren und gezielt einzelne Bestandteile aus dem Quelltext herausfiltern.
Das funktioniert erstaunlich gut – solange man weiß, wie die jeweilige Webseite aufgebaut ist. Doch genau darin liegt auch die Schwäche dieser Methode: Ändert eine Website ihre Struktur, funktionieren die festgelegten Suchregeln möglicherweise nicht mehr. Noch schwieriger wird es, wenn die gewünschten Informationen zwar auf der Seite stehen, sich aber nicht eindeutig anhand von HTML-Elementen oder bestimmten Begriffen finden lassen.
Hier kann Künstliche Intelligenz helfen. Wir zeigen in diesem Artikel, wie Sie mit Python Webseiten auslesen und die Ergebnisse anschließend von Google Gemini analysieren lassen. Dabei nutzen wir BeautifulSoup und Selenium für das klassische Scraping und geben der KI genau die Informationen oder Screenshots, die sie auswerten soll.
Der Foto-Zubehörhersteller Godox hat mit der C100 ein Gadget zwischen Kamera und Belichtungsmesser entwickelt. Wir haben uns das Konzept genauer angesehen.
Das kabellose Laden fürs E-Auto funktioniert technisch schon lange, doch nur Porsche bietet das für einen hohen Aufpreis an. Kommt in Zukunft mehr?
Wir bauen einen Retro-Taschenrechner mit Nixie-Röhren, der die mathematischen Grundoperationen beherrschen soll.
Den Energiegehalt von Batterien wirtschaftlich nutzen, um mit dem E-Auto am Strommarkt teilzunehmen? Der Rollout ist zäh, doch das dürfte sich rasch ändern.
In der Schule oder im Studium kommt man ohne Notizen kaum aus. Mit Bordmitteln lassen sich Mitschriften und Transkripte effizient organisieren. Wir zeigen, wie.
Im Niehler Hafen entsteht Europas größte Flusswasserwärmepumpe. Sie holt Wärme aus 10 Grad kaltem Rheinwasser für 50.000 Haushalte. Ein Videobeitrag.