Prüfen, ob eine tägliche Tabelle oder Datei aktuell ist
Der tägliche Ladevorgang lief pünktlich und hat die übliche Zahl an Zeilen geladen, aber das neueste Datum in der Tabelle ist von letztem Dienstag: Die Quelle hat denselben Auszug noch einmal geschickt. Zeilenzahlen und Exit-Codes bemerken das nicht. Wer bei jedem Lauf das neueste Datum prüft, bekommt daraus noch am selben Morgen eine Benachrichtigung.
Warum veraltete Daten jede andere Prüfung bestehen
Ein veralteter Ladevorgang sieht von außen gesund aus. Der Job startete und endete pünktlich, er endete mit 0, und weil die gestrige Datei 48.000 Zeilen hatte, hat auch ihre heutige Kopie so viele. Typische Ursachen:
- Ein vorgelagerter Export schlug fehl und ließ die vorherige Datei liegen;
- ein inkrementeller Ladevorgang filtert auf „seit dem letzten Lauf“, und das Wasserzeichen hat sich nicht bewegt;
- eine View oder ein Auszug ist zwischengespeichert oder liest einen Snapshot, der nicht mehr aktualisiert wird;
- ein Partner schickt die Datei spät, und Ihr Job hat zuerst die alte genommen.
Die Wahrheit sagen die Daten selbst: das neueste Datum darin. Eine Aktualitätsprüfung vergleicht dieses Datum mit heute.
Das neueste Datum mit jedem Lauf senden
Fügen Sie dem Abschluss-Ping last_date hinzu, als YYYY-MM-DD. Wenn Sie im Tab Code eines Jobs Latest date (Neuestes Datum) ankreuzen, sendet der Code das Maximum Ihrer Datumsspalte, und TaskBeacon fügt die Regel last_date is a date older than 1 day (last_date ist ein Datum älter als 1 Tag) hinzu. In Python:
# --- TaskBeacon: top of the script (standard library only) ---
import json, traceback, urllib.request
TB = "https://taskbeacon.io/ping/your-job-id"
def tb_ping(path="", data=None):
body = json.dumps(data).encode() if data else None
req = urllib.request.Request(TB + path, data=body, headers={"Content-Type": "application/json"})
try:
urllib.request.urlopen(req, timeout=10)
except Exception as e:
print("TaskBeacon ping failed:", e)
tb_ping("/start")
try:
# --- your code here ---
from datetime import date
df = [{"date": date.today().isoformat()}] # example data: replace with your own (e.g. pandas.read_csv)
except Exception as e:
# the error and the last 20 lines of the traceback go with the failure
tb_ping("/fail", {"error": f"{type(e).__name__}: {e}"[:200],
"log": "\n".join(traceback.format_exc().splitlines()[-20:])[-4000:]})
raise
# --- TaskBeacon: end of the script ---
tb_ping("", {"rows": len(df), "last_date": str(max(df["date"] if hasattr(df, "columns") else (r["date"] for r in df)))[:10]})In der App gibt Ihnen der Tab Code Ihres Jobs diesen Code mit der eigenen Adresse des Jobs statt your-job-id, und Sie können die Teile abwählen, die Sie nicht brauchen.
Ersetzen Sie das Beispiel durch Ihre Daten und "date" durch Ihre Spalte (bei einem pandas-DataFrame wird df["date"].max() gesendet). Das Alter wird in Ihrer Zeitzone aus den Settings (Einstellungen) gezählt; eine Tabelle, die jeden Morgen mit den Daten von gestern gefüllt wird, sollte daher die Grenze 1 bekommen, eine, die nur werktags gefüllt wird, eine Grenze von 3, damit die Montage abgedeckt sind. Ändern Sie sie auf der Seite des Jobs unter Alert me when (Benachrichtigen, wenn).
Aktualitätsregeln gehören zu Pro, derzeit für alle offen; siehe Preise.
Was Sie bekommen
- Odd data (ungewöhnliche Daten), wenn das neueste Datum zu alt ist, mit dem Grund in einer Zeile, zum Beispiel last_date is 2026-11-03, 6 days old (limit 1).
- Die Zeilenzahl im selben Ping behält ihre eigenen Regeln, sodass ein leerer und ein veralteter Ladevorgang beide erkannt werden; siehe 0 Zeilen oder viel weniger als üblich.
- Missed (verpasst), wenn der Ladevorgang gar nicht lief, was Ihnen keine Prüfung innerhalb der Datenbank sagen kann.
Bei Dateien, die ein Partner oder ein anderes Team in SharePoint oder OneDrive ablegt, kann TaskBeacon auch direkt den Änderungszeitpunkt der Datei überwachen, ganz ohne Code: siehe eine Datei, die bis 8:00 nicht angekommen ist.
Ohne TaskBeacon
Deklarieren Sie in einem dbt-Projekt freshness an der Quelle mit loaded_at_field, warn_after und error_after und führen Sie dbt freshness (das ältere dbt source freshness heißt jetzt Legacy) als Teil eines geplanten Jobs aus. Das funktioniert gut, mit einer Lücke: Die Prüfung selbst muss laufen. Startet der Job nicht, der sie ausführt, warnt Sie nichts; siehe Benachrichtigungen für dbt-Cloud-Jobs. Außerhalb von dbt leistet eine SQL-Abfrage wie SELECT MAX(load_date) FROM sales dasselbe, in einem geplanten Skript, das einen Fehler auslöst, wenn das Datum zu alt ist.
Claude oder ChatGPT mit TaskBeacon verbunden? Fragen Sie: „Was ist letzte Nacht fehlgeschlagen, und warum?“, und die Antwort kommt aus Ihren Jobs. So funktioniert das.
Verwandte Themen
In den Docs: Neuestes Datum · Status · Python.
- Benachrichtigung, wenn ein Job 0 Zeilen oder viel weniger als üblich lädtExit-Code 0 sagt nichts darüber, wie viele Zeilen angekommen sind.
- Benachrichtigung, wenn eine Datei um 8:00 nicht in SharePoint angekommen istTrigger lösen aus, wenn eine Datei ankommt; nichts löst aus, wenn sie nicht ankommt.
- Benachrichtigungen bei fehlgeschlagenen dbt-Cloud-Jobs, und Läufe, die nie gestartet sinddbt meldet Läufe; ein Lauf, der nie gestartet ist, sendet nichts.
Der Einstieg in TaskBeacon ist kostenlos, derzeit mit allen Funktionen und ohne Kreditkarte. Legen Sie einen Job an, fügen Sie den Code ein, und der erste Ping erscheint auf der Seite des Jobs.
Kostenlos starten Live-Demo ansehenQuellen
- dbt-Doku: freshness (loaded_at_field, warn_after, error_after; dbt freshness ersetzt dbt source freshness) (aktualisiert am 12. Oktober 2026)
- Reddit r/dataengineering: What breaks first in small data pipelines as they grow? (etwa 2025 (geschätzt))
Diese Seite wurde am 9. November 2026 mit ihren Quellen abgeglichen. Menüs und Grenzen anderer Produkte ändern sich; wenn hier etwas nicht mehr stimmt, schreiben Sie an support@taskbeacon.io.