カテゴリー Python

Weaviate をローカルDockerで起動して、手軽に RAG するチュートリアル

オープンソースのベクトルデータベースである Weaviate を Docker で起動しデータを投入し、そのデータを使って RAG (検索拡張生成) を行うチュートリアルです。(社内勉強会カリキュラム) 自分の PC 上で RAG のシステムを構築します。

Weaviate をローカルDockerで起動して、手軽に RAG するチュートリアル

データベースのデータを一括処理するプログラムでやりがちなパジネーションドリフトの失敗例と対策

データベースから特定の条件に合致したレコードを抽出し、更新するバッチ処理の中で、LIMIT OFFSET を使って1000件程度づつループする時、処理内容によっては全件走査されずに漏れが発生する場合があります。その内容の説明と解決方法を書いています。

データベースのデータを一括処理するプログラムでやりがちなパジネーションドリフトの失敗例と対策

django admin画面に複数選択可能なカスタムリストフィルターを追加する

django admin画面のフィルター機能に不満があるので、 複数選択可能なListFilterを作成します。

django admin画面に複数選択可能なカスタムリストフィルターを追加する

django admin画面に簡単にファイルの入力・出力を追加する

django admin画面はmodelのデータ管理に非常に便利な機能です。

django admin画面に簡単にファイルの入力・出力を追加する

Raspberry Pi Pico W で Httpサーバ(microdot)とセンサーによるHTTPリクエスト機能を同時に稼働させる

Raspberry Pi Pico W が発表されました。日本ではまだ未発売ですが、技適は取得されたようですので近いうちに国内販売がされそうです。 試しに、Webサーバ ( Microdot )とWebクライアント(urequest) を uasyncio で並列実行するコードを書きましたので、紹介します。

Raspberry Pi Pico W で Httpサーバ(microdot)とセンサーによるHTTPリクエスト機能を同時に稼働させる

Web ページの動作検証のためのボットスクリプトを Windows 上で作る

この文書は、開発経験の無いチームがウェブアプリケーションの動作検証の責任を持つケースで、検証を簡単なプログラムで行うアプローチについての手法を解説しています。 Webアプリケーションの動作検証の際、手動で実行する以外にプログラムで検証すると便利です。開発者であればは検証コードを書くのは簡単ですが、開発経験の無い方はどこから始めたらいいかわからないと思いますので、簡単に始められる所を紹介します。OS は Windows を対象としています。

Web ページの動作検証のためのボットスクリプトを Windows 上で作る

実務経験で出会った便利なあれこれ

新卒エンジニアとして半年間働いてきて、現場でさまざまなことを勉強させていただきました。その中でも、もっと早く知っておきたかった便利なツール、Python の書き方など、幅広いあれこれを記事にしたいなと思います。

実務経験で出会った便利なあれこれ

新卒エンジニアが今になって就職前にやっておけば良かったと思うこと3選

就社してからは初めてのブログ投稿となります。

新卒エンジニアが最初の半年に任された業務

今年の春に入社しました、情報システム部の清瀬です。

実務経験0 入社一年目のエンジニアが任されたセキュリティの話

2021年春に入社しました、情報システム部の清瀬です。

Amazon Pay Checkout v2 API の署名 (RSA-SHA256 (RS256) + RSA PSS Padding) を Python で行う

Amazon Pay のAPIクライアントを書く際、Amazon のAPIサーバに送信するリクエストに、RSA-SHA256, RSA PSS パディングを使って署名を作り、リクエストに含めて送信する必要があります。 Java や node はクライアントライブラリがあったので、それを使って簡単に署名できたのですが、弊社 TORICO ではサーバサイドは主に Python を使っているため、署名コードを書きました。

Amazon Pay Checkout v2 API の署名 (RSA-SHA256 (RS256) + RSA PSS Padding) を Python で行う

Google Hangouts Chat にプログラムからメッセージを送信する

Google ハングアウトの後継のチャット(インスタントメッセージング)サービス、Chat では、Webhook エンドポイントを使うことでとても簡単にチャットルームへのメッセージの送信ができます。 メッセージの送信に、チャット用の大規模なアプリ開発は不要です。Python でも curl でも JS でも、3行ぐらいでメッセージの送信ができます。 Webhook エンドポイントの作成 1. Chat を開く https://chat.google.com/

Google Hangouts Chat にプログラムからメッセージを送信する

DB(MySQL)をネットワーク越しに簡単にコピーする。mysqldump + パイプで。python subprocess の例も

本番環境のデータベース(MySQL)をネットワーク越しに開発環境にコピーしたい時のプラクティスです。 シェル + パイプ よくやるのが、bash等 でパイプを使って流し込む方法です。 ssh で本番サーバ user@production.example.com に接続し、mysqldump を実行。その標準出力を SSH 接続を通して手元まで持ってきます。

DB(MySQL)をネットワーク越しに簡単にコピーする。mysqldump + パイプで。python subprocess の例も

Amazon マーケットプレイスWebサービス (MWS) APIから注文情報を取得する方法

当社では、Amazon のマーケットプレイスに出店していたり、FBA (フルフィルメントByアマゾン: Amazon社の倉庫に商品を納品し、販売を代行してもらう販売方法) を行っています。 マーケットプレイスにはAPIが用意されており、リクエストすることで受注情報など多くの情報を取得できるのですが、署名の計算に少し躓いたので書いておきます。

Amazon マーケットプレイスWebサービス (MWS) APIから注文情報を取得する方法

EPUBファイルから画像を抽出する

電子書籍フォーマットとして広く使われている EPUB ファイルから、連番で画像を抽出する方法です。 ツール作りました! pip でインストールできます。https://github.com/ytyng/epub-extract-jpeg EPUB ファイルの概要 EPUB ファイルとは、平たく言えば ZIP圧縮された XHTML です。 コミックで一般的に使われる形式では、1ページが1つの XHTML ファイルになっており、その中に 1 つの img タグが あり、画像ファイルにリンクされています。 そのため、手順としては EPUB ファイルを解凍 構成情報の XML ファイルを解析し、ページ画像の URL (パス) を取得 ページ画像を連番で改名コピー(移動) となります。

EPUBファイルから画像を抽出する

TORICOの他のブログ投稿

Recent Posts

Feeds

RSS / Atom