日次のテーブルやファイルが新しいことを確認する
毎日のロードは時間どおりに実行され、いつもどおりの行数を読み込みました。ところが、テーブルの最新の日付は先週の火曜日です。ソースが同じ抽出データをもう一度送ってきたのです。行数や終了コードではこれに気づきません。実行のたびに最新の日付をチェックすれば、その日の朝のうちにアラートになります。
古いデータがほかのチェックをすべて通り抜ける理由
古いデータのロードは、外から見ると正常です。ジョブは時間どおりに始まって終わり、0 で終了し、昨日のファイルが 48,000 行だったので、今日のそのコピーも 48,000 行です。よくある原因:
- 上流のエクスポートが失敗し、前回のファイルがそのまま残っていた。
- 差分ロードが「前回の実行以降」で絞り込んでいて、ウォーターマークが進んでいなかった。
- ビューや抽出データがキャッシュされているか、更新が止まったスナップショットを読んでいた。
- 取引先がファイルを遅れて送り、ジョブが先に古いファイルを拾った。
本当のことを教えてくれるのはデータそのもの、つまりその中の最新の日付です。鮮度チェックはその日付を今日と比べます。
実行のたびに最新の日付を送る
終了時の ping に last_date を YYYY-MM-DD の形式で追加します。ジョブの Code(コード)タブで Latest date(最新の日付)にチェックを入れると、コードが日付列の最大値を送り、TaskBeacon が last_date is a date older than 1 day(last_date が 1 日より古い日付)というルールを追加します。Python では:
# --- TaskBeacon: top of the script (standard library only) ---
import json, traceback, urllib.request
TB = "https://taskbeacon.io/ping/your-job-id"
def tb_ping(path="", data=None):
body = json.dumps(data).encode() if data else None
req = urllib.request.Request(TB + path, data=body, headers={"Content-Type": "application/json"})
try:
urllib.request.urlopen(req, timeout=10)
except Exception as e:
print("TaskBeacon ping failed:", e)
tb_ping("/start")
try:
# --- your code here ---
from datetime import date
df = [{"date": date.today().isoformat()}] # example data: replace with your own (e.g. pandas.read_csv)
except Exception as e:
# the error and the last 20 lines of the traceback go with the failure
tb_ping("/fail", {"error": f"{type(e).__name__}: {e}"[:200],
"log": "\n".join(traceback.format_exc().splitlines()[-20:])[-4000:]})
raise
# --- TaskBeacon: end of the script ---
tb_ping("", {"rows": len(df), "last_date": str(max(df["date"] if hasattr(df, "columns") else (r["date"] for r in df)))[:10]})アプリでは、ジョブの Code(コード)タブに、your-job-id の代わりにそのジョブ自身のアドレスが入ったこのコードが表示されます。不要な部分はチェックを外せます。
例の部分をあなたのデータに、"date" をあなたの列名に置き換えてください(pandas の DataFrame なら、送られるのは df["date"].max() です)。経過日数は Settings(設定)のタイムゾーンで数えます。毎朝前日のデータが入るテーブルなら上限は 1、平日だけ入るテーブルなら月曜日をカバーするために上限 3 にします。ジョブのページの Alert me when(アラートを出す条件)で変更できます。
鮮度のルールは Pro の機能です(現在は誰でも利用できます)。料金をご覧ください。
得られるもの
- Odd data(異常データ):最新の日付が古すぎる場合。理由は 1 行で示されます。たとえば last_date is 2026-11-03, 6 days old (limit 1)(last_date は 2026年11月3日、6 日前、上限 1)。
- 同じ ping の行数には独自のルールが残るので、空のロードと古いデータのロードの両方を捕まえられます。0 行、またはいつもよりずっと少ない行数をご覧ください。
- Missed(未実行):ロードがまったく実行されなかった場合。これはデータベース内のどんなチェックでもわかりません。
取引先や別のチームが SharePoint や OneDrive に置くファイルについては、TaskBeacon がコードなしでファイルの更新日時を直接監視することもできます。8:00 までに届かなかったファイルをご覧ください。
TaskBeacon を使わない場合
dbt プロジェクトでは、ソースに loaded_at_field、warn_after、error_after を指定して freshness を宣言し、定期ジョブの一部として dbt freshness を実行します(以前の dbt source freshness は現在レガシー扱いです)。これはよく機能しますが、一つ穴があります。チェック自体が実行されなければならないことです。それを実行するジョブが始まらなければ、何も警告してくれません。dbt Cloud ジョブのアラートをご覧ください。dbt 以外では、SELECT MAX(load_date) FROM sales のような SQL クエリを定期スクリプトで実行し、日付が古すぎればエラーを出すようにすれば同じことができます。
Claude や ChatGPT を TaskBeacon に接続していますか?「昨夜失敗したのは何で、原因は?」と聞けば、あなたのジョブをもとに答えてくれます。その仕組みをご覧ください。
関連ページ
- ジョブの読み込みが 0 行、または通常よりはるかに少ないときにアラートを受け取る終了コード 0 は、何行届いたかについて何も語りません。
- SharePoint にファイルが 8:00 までに届かないときにアラートを受け取るトリガーはファイルが届いたときに動きます。届かなければ何も動きません。
- dbt Cloud ジョブの失敗アラートと、開始されなかった実行dbt は実行について通知しますが、開始されなかった実行は何も送りません。
TaskBeacon は無料で始められます。現在はすべての機能が使え、クレジットカードも不要です。ジョブを作成してコードを貼り付ければ、最初の ping がジョブのページに表示されます。
無料で始める ライブデモを見る出典
- dbt ドキュメント:freshness(loaded_at_field、warn_after、error_after。dbt freshness が dbt source freshness に代わる) (2026年10月12日更新)
- Reddit r/dataengineering:小規模なデータパイプラインが大きくなるとき、最初に壊れるのは何か (2025年ごろ(推定))
このページは 2026年11月9日 に出典と照合しました。他社製品のメニューや制限は変わります。ここに書かれていることが合わなくなっていたら、support@taskbeacon.io までお知らせください。