データベースのデータを一括処理するプログラムでやりがちなパジネーションドリフトの失敗例と対策
2024.07.20 15:48 (8週間前) Posted by: Categories: Django , MySQL , Python
データベースから特定の条件に合致したレコードを抽出し、更新するバッチ処理の中で、LIMIT OFFSET を使って1000件程度づつループする時、処理内容によっては全件走査されずに漏れが発生する場合があります。その内容の説明と解決方法を書いています。
データベースから特定の条件に合致したレコードを抽出し、更新するバッチ処理の中で、LIMIT OFFSET を使って1000件程度づつループする時、処理内容によっては全件走査されずに漏れが発生する場合があります。その内容の説明と解決方法を書いています。
Django のユニットテストで複数のモックを同時に扱う時に便利な contextlib の ExitStack を紹介します。コードを記載しています。
favicon(ファビコン)とは、Favorite Icon(フェイバリットアイコン)の略です。Webサイトのシンボルマークとして使用されるアイコン。
会社のメールアドレスで作られたMicrosoftアカウントが3つも存在していた。なぜ、登録されてしまったのか、個人と組織のアカウントの見分け方など
dnf は yum の後継となるパッケージ管理コマンドです。 Dandified Yum の略で yum から派生して速度の改善がされていたり、モジュールの切り替えの簡易化などの機能が追加されています。
当社TORICO の社内勉強会で CSS のフレックス( `display: flex` ) の演習を行いました。 この記事は、その勉強会で行ったフレックスの演習の内容を公開するものです。 CSS の書かれていない HTML に CSS を書いていき、目標画像と同じ見た目になるようにします。
social-auth-app-django + python-social-auth でログイン時の redirect_uri の HTTPスキーム の http / https をコントロールする方法です。
kubernetes の cronjob のマニフェストファイルを書く時、普通に手作業で YAML ファイルを書こうとすると Cronjob ごとに同じ項目が多くなるため、DRYでなくなり管理がしにくくなります。そのため、cronjob のマニフェストは手で書かず、半分動的に作る方法に落ち着きましたので紹介します。
ssh鍵の移行とBrewfileの作成方法について触れています。
前回に引き続きラズパイにVNCを導入してやったことを書いていきます。今回はデフォルトのRealVNCとansible化についてです。
最近ラズパイにVNCを導入しました。今回はTightVNCについて触れています。
TORICOにおける、アプリケーションの自動テストについて解説します。 社内で Jenkins サーバを実行しており、その中で Django のテストフレームワークのテストであったり E2E のテストを実行します。
TORICOでは、毎月1回のペースで開発者による技術勉強会を行っています。 2023年に行った勉強会の内容を書きます。
Ubuntu 18 のサーバーをアップデートした際の手順書。 18 → 22 のようなバージョンをとばしたアップデートはできないので 18 → 20、20 → 22と1段階ずつ、現在の設定を維持したままできるだけ安全にアップデート。 設定、環境が壊れるを回避するための注意ポイントがあります。
Synology の NAS の Glacier Backup で作られてた AWS S3 Glacier のボールトから、AWS CLI を使って特定の1ファイルだけを復旧する方法です。
株式会社メディアドゥ、ピクシブ株式会社、株式会社ブックウォーカー、株式会社TORICO の技術部門の合同で、電子書籍の作成・流通から閲覧までの技術的裏側を紹介するイベントを行います。
春から入社しました新卒の百合川です。
dockerの開発環境は便利なのですが、トラブルの発生時にコンテナごとにエラーを確認することになるので、そこは少し不便です。 なので、そこの利便性を上げるためにFluentdを使います。
もう気がつけば9月も終わる!気づけばハロウィン、クリスマス、そして新年の足音が聞こえます。新年開けると誕生日と苦悩が私には待ち受けていますが皆様いかがお過ごしでしょうか?
フィッシングとは、実在する機関や企業また実際に利用した事のあるサイトを騙ったメールやSMS(ショートメールサービス)などを送り、偽のサイトに誘導して、IDやパスワード、また個人情報など入力させ窃取する手法です。