サイロをプールに変える、という仕事
こんにちは、Anti-Patternの塚本です。
以前、サイロ化していたデータベースを共通のプール(統合基盤)へ移行するプロジェクトを担当した。
1つの基盤に集約すれば、当然そのぶん1つのテーブルが抱えるデータ量は一気に増える。データは繋がって扱いやすくなる一方で、それまで問題なく動いていたクエリが、量に負けて遅くなっていった。
当時、いまのようなAIは無かった。だから、やることは全部手作業だった。
* EXPLAIN ANALYZE を取って実行計画を読む
* どこで Seq Scan が出ているか、Nested Loop が何回まわっているかを目で追う
* インデックスを見直す
* SQLそのものを書き換える
* 不要になったテーブルの結合を削る
一つ直しては計画を取り、また直しては計画を取る。地味で、時間のかかる作業だった。
それでも、遅いクエリが速くなっていく手応えは確かにあった。
----------------------------------------------------------------------こんにちは、Anti-Patternの塚本です。
弊社の開発チームでは、生成AIを積極的に活用しています。開発ツールとしてVSCodeを使用しており、開発時はRoo CodeやGitHub
Copilotを活用しています。
Roo
CodeはVSCode上で動作するAIコーディングアシスタントで、コード生成やリファクタリング、テストコードの自動生成などを支援してくれるツールです。今回は、このRoo
Codeを使ってE2Eテストを自動生成する検証を行った際の経験を共有します。
トークン上限エラーとの遭遇
今回、E2Eテストを生成するために、oapi-codegenで生成した以下のファイルをRoo Codeに読み込ませました
* client.gen.go: 15,475行
* types.gen.go: 1,345行
テスト対象となるメソッドは160以上。これらすべてに対してE2Eテストを自動生成しようとしたところ、プロンプトのトークン数がmax値を超えてエラーが発生してしまいました。読み込ませるファイルが大きすぎたのです。
解決策:AIにAI用のツールを作ってもらう
そこはじめに
こんにちは、Anti-Pattern Inc.の塚本です。
参画したプロジェクトで、Mavenアプリケーションでアーカイブを作成したくないご要望があったので、その際に調べたtipsを共有します。
SampleAppをmavenでpackageする場合
SampleAppというアプリケーションをmavenでpackageする場合、このようなディレクトリが生成されます。今回は、コンパイルだけして、SampleApp.warを作らない設定方法について説明します。
プロジェクトディレクトリ
- target
SampleApp
SampleApp.war
classes
generated-sources
maven-archiver
maven-status
Maven の Package フェーズとは
Maven
のビルドライフサイクルには複数のフェーズがあります。このフェーズでは、コンパイルされたコードやリソースファイルをディストリビューション形式(JAR、WAR
など)にパッケージングします。
mvn package コマンドこんにちは、Anti-Pattern Inc.の塚本です。
β版ですが、SaaSus PlatformのJava版SDKが公開されておりますので、ご紹介をしようと思います。
https://github.com/saasus-platform/saasus-sdk-java/
SaaSus PlatformのバックエンドはOpenAPIを利用してます。
また、マイクロサービス(モジュール)で設計されているのでその単位にYAMLファイルが存在します。
SDKは、その定義ファイルであるYAMLファイルからopenapi-generator-cliを使用して、自動生成します。
https://github.com/OpenAPITools/openapi-generator-cli
自動生成すると、モジュール単位にApiClientクラスが生成されます。
このApiClientは、OkHttpClient httpClientを内包していて、このhttpClientを利用してSaaSus
Platformへのリクエストを処理されます。
ただし、このままでは利用できません。
SaaSこんにちは、Anti-Pattern Inc.の塚本です。
Amazon DynamoDBを使った開発を最近しております。
O/Rマッパーにguregu/dynamoを使っているのですが、初めてなので非常に困惑してます!
そして、"One"と"OneWithContext"の違いについて調べた時のメモです
いまいちすっきりしませんしたが、メモとして残しておこうと思います!
それぞれのサンプルです。違いはcontextを渡すかどうか
* One
func (s *sampleRepository) Get(ctx context.Context) (*domain.User, error) {
var result domain.User
if err := s.conn.Table("user").Get("id", 1).One(&result); err != nil {
return nil, handleError(err)
}
return &result, nil
}
* OneWithContext
func (s *sampleRepoこんにちは、Anti-Pattern Inc.の塚本です。
PostgreSQLのインデックス名など識別子の長さについて調べたメモです。
usersテーブルに長いインデックス名を作成します。
CREATE UNIQUE INDEX unique_index_looooooooooooooooooooooooooooooooooong__users_name_email_key
ON users (name, email)
WHERE deleted_at IS NULL;
成功しますが、”識別子が切り捨てられます”とメッセージがでます。
test_db=> CREATE UNIQUE INDEX unique_index_looooooooooooooooooooooooooooooooooong__users_name_email_key
test_db-> ON users (name, email)
test_db-> WHERE deleted_at IS NULL;
NOTICE: identifier "unique_index_looooこんにちは、Anti-Pattern Inc.の塚本です。
弊社では自社サービスの開発でGORMを使用しています。
V2の機能で関連するレコードも一度に登録できるようなので、試してみました。
例えば、この様なデータ構造です。ユーザはスキル情報を持っています
type userDTO struct {
gorm.Model
Name string
Email *string
Skills skillDTOs `gorm:"foreignKey:UserID"`
}
type skillDTO struct {
gorm.Model
UserID uint64
Name string
}
ユーザ情報、スキル情報を設定してCreateを実行します
user := userDTO{
Name: "testUser",
Email: func() *string { s := "test@test.com"; return &s }(),
Skills: []skillDTO{
{Name: "skill1"}, {Name: "skillこんにちは、Anti-Pattern Inc.の塚本です。
PostgreSQLのUPSERTみたいな事をやりたくて、GORM V2を使用してこんなコードを書きました。
レコードの存在有無に関わらず、レコードを挿入又は更新する場合、Assign関数を使用しこの様なコードになります。
dto := sampleDTO{
CompanyMemberID: memberID,
UserID: userID,
}
r.db.Conn(ctx).
Where("company_member_id = ? AND user_id = ?", memberID, userID).
Assign(&dto).
FirstOrCreate(&sampleDTO{})
これを実装している時に、GORMのAPIを確認していたのですが、
V2になって対応され気になった機能について、確認してみました。
取得結果をMapに格納
result := map[string]interface{}{}
udtos := []userDTO{}
r.db.こんにちは、Anti-Pattern Inc.の塚本です。
今回のブログはプルリクでもらったあるコメントが、勉強するきっかけになったお話です。
私が書いたコードがこちら
a2 := func() *string { s := "sample"; return &s }()
fmt.Printf("%#v %#v \n", a2, *a2)
出力結果)
(*string)(0xc000051360) "sample"
弊社のUくんがコメントで教えてくれたのがこちら
a := &[]string{"sample"}[0]
fmt.Printf("%#v %#v \n", a, *a)
出力結果)
(*string)(0xc000051330) "sample"
別々に実行しているのでアドレスは違いますが、目的のポインターは取得できています。どっちでもできるけど好みですーとのこと。
いつもは、なるほど!で終わってますが、ゼロ値、nilスライス、空スライスについて確認してみました。
・intの変数定義はゼロで初期化されますよね
var i int
fmt.Pこんにちは、Anti-Pattern Inc.の塚本です。
弊社ではGolang使用してアプリケーション開発をしています。DBはPostgreSQLでORマッパーにGORMを利用しています。
Golangコンテナ、DBコンテナはタイムゾーンを指定していないのでデフォルト値が適用されています。これをJSTにしたかった!というブログです。
■Golangコンテナ
$ docker exec -it 58d644eaec04 bash
root@58d644eaec04:/app# date
**Sat May 8 10:43:18 UTC 2021**
■DBコンテナ
root@2e3c2a3ad755:/# psql -U ***** -d *****
psql (11.9 (Debian 11.9-1.pgdg90+1))
Type "help" for help.
=> show timezone;
TimeZone
------------
**UTC**
time.Now()を出力した結果です。UTCが設定されています
now := time.こんにちは、Anti-Pattern Inc.の塚本です。
今回のブログは、あるカラムにユニーク制約を設定した時のお話です
制約とは
https://www.postgresql.jp/document/12/html/ddl-constraints.html
> データ型は、テーブルに格納するデータの種類を限定するための方法です。 しかし、多くのアプリケーションでは、型が提供する制約では精密さに欠けます。
例えば、製品の価格が入る列には、おそらく正数のみを受け入れるようにする必要があります。 しかし、正数のみを受け入れるという標準のデータ型はありません。
また、他の列や行に関連して列データを制約したい場合もあります。
例えば、製品の情報が入っているテーブルでは、1つの製品番号についての行が2行以上あってはなりません。
このような問題を解決するため、SQLでは列およびテーブルに対する制約を定義することができます。 制約によってテーブル内のデータを自由に制御することができます。
制約に違反するデータを列に格納しようとすると、エラーとなります。 このことは、デフォルト値として定義されこんにちは、Anti-Pattern Inc.の塚本です。
APIサーバからCognitoに接続して、ユーザー登録するユースケースの実装について書こうと思います。
Nuxt.jsでAmazon Cognitoを使う内容は、弊社メンバのkoooooheが書いてますので、どうぞ参考に!
> https://medium.com/anti-pattern-engineering/nuxt-jsでcognitoを使う-cd011efa1b29
[https://medium.com/anti-pattern-engineering/nuxt-js%E3%81%A7cognito%E3%82%92%E4%BD%BF%E3%81%86-cd011efa1b29]
Configuring the AWS SDK for Goを利用して実装しました。
AdminCreateUserを発行したいのでちょっとだけ変更していますが、ほとんど、AWS Code Sampleが使えます。これはありがたい。
> https://docs.aws.amazon.com/code-samples/late