जाँचें कि रोज़ की table या file ताज़ा है
रोज़ का load समय पर चला और rows की सामान्य संख्या load की, पर table में सबसे नई तारीख़ पिछले मंगलवार की है: source ने वही extract फिर से भेज दिया। Row counts और exit codes इसे नहीं पकड़ते। हर run पर सबसे नई तारीख़ की जाँच इसे उसी सुबह एक alert में बदल देती है।
पुराना data बाकी हर जाँच से क्यों निकल जाता है
पुराना (stale) load बाहर से ठीक-ठाक दिखता है। Job समय पर शुरू और ख़त्म हुआ, 0 के साथ exit हुआ, और क्योंकि कल की file में 48,000 rows थीं, उसकी आज की copy में भी हैं। आम कारण:
- Upstream export fail हुआ और पिछली file वहीं छोड़ दी;
- Incremental load "पिछले run के बाद से" पर filter करता है और watermark आगे नहीं बढ़ा;
- कोई view या extract cached है, या ऐसा snapshot पढ़ता है जिसका refresh बंद हो गया;
- किसी partner ने file देर से भेजी, और आपके job ने पहले पुरानी वाली उठा ली।
सच data ख़ुद बताता है: उसमें सबसे नई तारीख़। Freshness check उस तारीख़ की तुलना आज से करता है।
हर run के साथ सबसे नई तारीख़ भेजिए
Finishing ping में last_date जोड़िए, YYYY-MM-DD के रूप में। जब आप job के Code tab पर Latest date (सबसे नई तारीख़) पर tick करते हैं, तो code आपके date column का maximum भेजता है और TaskBeacon rule last_date is a date older than 1 day (last_date 1 दिन से पुरानी तारीख़ है) जोड़ देता है। Python में:
# --- TaskBeacon: top of the script (standard library only) ---
import json, traceback, urllib.request
TB = "https://taskbeacon.io/ping/your-job-id"
def tb_ping(path="", data=None):
body = json.dumps(data).encode() if data else None
req = urllib.request.Request(TB + path, data=body, headers={"Content-Type": "application/json"})
try:
urllib.request.urlopen(req, timeout=10)
except Exception as e:
print("TaskBeacon ping failed:", e)
tb_ping("/start")
try:
# --- your code here ---
from datetime import date
df = [{"date": date.today().isoformat()}] # example data: replace with your own (e.g. pandas.read_csv)
except Exception as e:
# the error and the last 20 lines of the traceback go with the failure
tb_ping("/fail", {"error": f"{type(e).__name__}: {e}"[:200],
"log": "\n".join(traceback.format_exc().splitlines()[-20:])[-4000:]})
raise
# --- TaskBeacon: end of the script ---
tb_ping("", {"rows": len(df), "last_date": str(max(df["date"] if hasattr(df, "columns") else (r["date"] for r in df)))[:10]})App में, आपके job का Code tab आपको यही code देता है, your-job-id की जगह job के अपने address के साथ, और जिन हिस्सों की ज़रूरत नहीं उनका tick आप हटा सकते हैं।
उदाहरण की जगह अपना data और "date" की जगह अपना column लिखिए (pandas DataFrame के लिए df["date"].max() भेजा जाता है)। उम्र Settings में दिए आपके time zone में गिनी जाती है, इसलिए जिस table में हर सुबह कल का data भरा जाता है उसे limit 1 मिलनी चाहिए; जो सिर्फ़ कामकाजी दिनों में भरा जाता है, उसे सोमवार को cover करने के लिए limit 3। इसे job page पर Alert me when (मुझे alert करें जब) के नीचे बदलिए।
Freshness rules Pro का हिस्सा हैं, अभी सबके लिए खुले; देखें Pricing।
आपको क्या मिलता है
- Odd data (असामान्य डेटा) जब सबसे नई तारीख़ बहुत पुरानी हो, एक line में कारण के साथ, उदाहरण के लिए last_date is 2026-11-03, 6 days old (limit 1)।
- उसी ping में row count के अपने rules बने रहते हैं, इसलिए ख़ाली load और पुराना load दोनों पकड़े जाते हैं; देखें 0 rows या सामान्य से बहुत कम।
- Missed (छूटा) जब load चला ही नहीं, जो database के अंदर की कोई जाँच आपको नहीं बता सकती।
उन files के लिए जिन्हें कोई partner या दूसरी team SharePoint या OneDrive में डालती है, TaskBeacon बिना किसी code के सीधे file का modification time भी देख सकता है: देखें 8:00 तक न पहुँची file।
TaskBeacon के बिना
dbt project में source पर loaded_at_field, warn_after और error_after के साथ freshness declare कीजिए, और किसी scheduled job के हिस्से के रूप में dbt freshness चलाइए (पुराने dbt source freshness को अब legacy कहा जाता है)। यह अच्छी तरह काम करता है, एक कमी के साथ: जाँच को ख़ुद चलना पड़ता है। अगर उसे चलाने वाला job शुरू ही न हो, तो कोई आपको चेतावनी नहीं देता; देखें dbt Cloud job alerts। dbt के बाहर, किसी scheduled script में SELECT MAX(load_date) FROM sales जैसी SQL query, जो तारीख़ बहुत पुरानी होने पर error raise करे, यही काम करती है।
क्या आपने Claude या ChatGPT को TaskBeacon से जोड़ा है? उससे पूछिए "कल रात क्या fail हुआ, और क्यों?" और वह आपके jobs के आधार पर जवाब देगा। यह कैसे काम करता है।
संबंधित
डॉक्स में: नवीनतम तारीख · Statuses · Python।
- कोई job 0 rows या आम से बहुत कम rows load करे तो alert पाएँExit code 0 यह नहीं बताता कि कितनी rows आईं।
- SharePoint में file 8:00 तक न आए तो alert पाएँFile आने पर triggers चलते हैं; न आने पर कुछ नहीं चलता।
- dbt Cloud job failure alerts, और वे runs जो कभी शुरू ही नहीं हुएdbt runs के बारे में बताता है; जो run कभी शुरू ही नहीं हुआ वह कुछ नहीं भेजता।
TaskBeacon से शुरुआत मुफ़्त है; अभी हर feature सबके लिए खुला है और credit card की ज़रूरत नहीं। एक job बनाइए, code paste कीजिए, और पहला ping job के page पर दिख जाएगा।
मुफ़्त शुरू करें लाइव demo देखेंस्रोत
- dbt docs: freshness (loaded_at_field, warn_after, error_after; dbt freshness, dbt source freshness की जगह लेता है) (अपडेट 12 अक्टूबर 2026)
- Reddit r/dataengineering: What breaks first in small data pipelines as they grow? (लगभग 2025 (अनुमानित))
इस page को इसके स्रोतों से 9 नवंबर 2026 को मिलाकर जाँचा गया। दूसरे products के menu और limits बदलते रहते हैं; अगर यहाँ कुछ अब मेल नहीं खाता, तो support@taskbeacon.io पर लिखें।