takemikami's note

Forgejoのデータのバックアップ＆リストア

Thu, 04 Apr 2024 23:49:59 +0900

以下のエントリでForgejoのバックアップ＆リストア手順を示します。
DatabaseにPostgreSQLを使用した手順になります。

手動でのバックアップ＆リストア、スクリプト化の順に説明します。

Forgejoのセットアップ・PostgreSQLの設定は、以下エントリの手順を想定しています。

UbuntuLinuxにForgejoをセットアップする手順
https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html

ForgejoのDBでPostgreSQLを利用する設定方法
https://takemikami.com/2024/03/31/ForgejoDBPostgreSQL.html

試した環境:

Ubuntu Linux 22.04.3
Forgejo 1.21.7
PostgreSQL 14.11

想定環境:

データディレクトリ: /var/lib/forgejo/data
PostgreSQLのDB名: forgejo

バックアップ

手動でのバックアップ手順を示します。

サービスを停止します。

sudo systemctl stop forgejo

forgejoユーザになり、バックアップ用のディレクトリを作ります。

sudo su - forgejo
BACKUP_TIMESTAMP=$(date +%Y%m%d%H%M%S)
mkdir -p ~/backup/${BACKUP_TIMESTAMP}

ファイルをバックアップします。

cd /var/lib/forgejo/data
tar czf ~/backup/${BACKUP_TIMESTAMP}/forgejo-data.tar.gz ./

データベースをバックアップします。

pg_dump -d forgejo > ~/backup/${BACKUP_TIMESTAMP}/forgejo-db
gzip ~/backup/${BACKUP_TIMESTAMP}/forgejo-db

参考: 26.1. SQLによるダンプ | PostgreSQL
https://www.postgresql.jp/document/14/html/backup-dump.html

サービスを再開します。

sudo systemctl start forgejo

リストア

手動でのリストア手順を示します。

サービスを停止します。

sudo systemctl stop forgejo

リストア用のバックアップファイルを特定します。

RESTORE_TIMESTAMP=$(sudo su - forgejo -c "ls ~/backup/ | sort | tail -1")

ファイルをリストアします。

tar zxf ~/backup/${RESTORE_TIMESTAMP}/forgejo-data.tar.gz -C /var/lib/forgejo/data

データベースを再作成します。

sudo su - postgres -c psql
> drop database forgejo;
> CREATE DATABASE forgejo WITH OWNER forgejo TEMPLATE template0 ENCODING UTF8 LC_COLLATE 'C.UTF-8' LC_CTYPE 'C.UTF-8';

データベースにデータをロードします。

sudo su - forgejo
cd ~/backup/${RESTORE_TIMESTAMP}
gunzip forgejo-db.gz
psql forgejo < forgejo-db
gzip forgejo-db

サービスを再開します。

sudo systemctl start forgejo

スクリプト化

バックアップとリストア処理をスクリプト化します。

バックアップスクリプト

バックアップ手続きを記載したスクリプトを作成します。
バックアップは３世代分、保存しています。
実運用では、バックアップしたファイル群を、クラウドストレージなど別の場所にもコピーしておくことをおすすめします。

backup_forgejo.sh

#!/bin/sh
BACKUP_TIMESTAMP=$(date +%Y%m%d%H%M%S)
systemctl stop forgejo
su - forgejo -c "mkdir -p ~/backup/${BACKUP_TIMESTAMP} \
  && cd /var/lib/forgejo/data && tar czf ~/backup/${BACKUP_TIMESTAMP}/forgejo-data.tar.gz ./ \
  && /usr/bin/pg_dump -d forgejo > ~/backup/${BACKUP_TIMESTAMP}/forgejo-db && gzip ~/backup/${BACKUP_TIMESTAMP}/forgejo-db \
  && cp ~/custom/conf/app.ini ~/backup/${BACKUP_TIMESTAMP}/app.ini \
  && cd ~/backup/ && ls | sort | head -n -3 | xargs rm -rf"
systemctl start forgejo

スクリプトに実行権限を与えて、定期的に実行するようにcrontabに仕込みます。

リストアスクリプト

リストア手続きをスクリプトにまとめると、以下のようになります。
リストアが必要な時に、これを実行します。

restore_forgejo.sh

#!/bin/sh
RESTORE_TIMESTAMP=$(sudo su - forgejo -c "ls ~/backup/ | sort | tail -1")
read -p "restore forgejo from ${RESTORE_TIMESTAMP} ok? (y/N): " yn
case "$yn" in [yY]*) ;; *) echo "abort." ; exit ;; esac

sudo systemctl stop forgejo
sudo su - postgres -c "\
  psql -c \"DROP DATABASE forgejo;\" \
  && psql -c \"CREATE DATABASE forgejo WITH OWNER forgejo TEMPLATE template0 ENCODING UTF8 LC_COLLATE 'C.UTF-8' LC_CTYPE 'C.UTF-8';\""
sudo su - forgejo -c "\
  rm -rf /var/lib/forgejo/data/* && tar zxf ~/backup/${RESTORE_TIMESTAMP}/forgejo-data.tar.gz -C /var/lib/forgejo/data \
  && cd ~/backup/${RESTORE_TIMESTAMP} && gunzip forgejo-db.gz && psql forgejo < forgejo-db && gzip forgejo-db.gz"
sudo systemctl start forgejo

以上。

ForgejoのDBでPostgreSQLを利用する設定方法

Sun, 31 Mar 2024 03:57:35 +0900

以下のエントリでForgejoのセットアップをしましたが、
Databaseにsqliteを利用していたので、
このエントリではPostgreSQLに変更する手順を示します。

UbuntuLinuxにForgejoをセットアップする手順 https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html

この手順は、以下の内容を参考にしています。

PostgreSQL | Database Preparation | Forgejo
https://forgejo.org/docs/latest/admin/database-preparation/#postgresql

試した環境:

Ubuntu Linux 22.04.3
Forgejo 1.21.7
PostgreSQL 14.11

PostgreSQLのセットアップ

PostgreSQLのセットアップをインストールします。

sudo apt-get install postgresql

PostgreSQLのステータスを確認します。

sudo systemctl status postgresql

DBの設定 (PostgreSQLにDB/Roleを作成)

PostgreSQLにpostgresユーザで接続します。

sudo su - postgres
psql

PostgreSQLにデータベースを作成、権限追加を行います。

CREATE ROLE forgejo WITH LOGIN PASSWORD '{forgejoユーザのパスワード}';
CREATE DATABASE forgejo WITH OWNER forgejo TEMPLATE template0 ENCODING UTF8 LC_COLLATE 'C.UTF-8' LC_CTYPE 'C.UTF-8';
EXIT

データベースへの接続を確認します。

psql -U forgejo -d forgejo -h localhost

Forgejoの設定 (ForgejoからPostgreSQLを参照する設定)

Forgejoの設定ファイルを開き、
databaseの接続先をpostgresqlに変更します。

custom/conf/app.ini の変更点

[database]
DB_TYPE = postgres
HOST = 127.0.0.1:5432
NAME = forgejo
USER = forgejo
PASSWD = `{forgejoユーザのパスワード}`
SCHEMA =
SSL_MODE = disable
LOG_SQL = falsee

ここでは、既存のデータをすべて削除することにします。
既存データが必要な場合は、事前にバックアップを取っておいてください。

rm -rf /var/lib/forgejo/data/*

設定ファイルを修正したら、forgejoを再起動し反映します。

sudo systemctl restart forgejo

ここでは、データは全て削除しているので、
管理者ユーザの登録から実施します。
その後、PostgreSQLに、
Forgejo関連のテーブルが作成されているのを確認しておきます。

psql -U forgejo -d forgejo -h localhost
> select * from pg_tables where tableowner='forgejo';

以上。

インターネットに接続できない環境でtiktokenを使う

Wed, 27 Mar 2024 21:46:15 +0900

tiktokenで文字列をエンコードする時、
vocabulary定義をダウンロードするため、
インターネットに接続できない環境では、事前にダウンロードが必要になる。
このエントリでは、その手順を示す。

tiktoken | GitHub
https://github.com/openai/tiktoken

該当のダウンロード処理は、次のコードに記載されている。
https://github.com/openai/tiktoken/blob/main/tiktoken_ext/openai_public.py

事前のダウンロード

事前にインターネットに接続できる環境で、
tiktokenの処理を呼び出し、vocabulary定義をダウンロードする。

環境変数 TIKTOKEN_CACHE_DIR に指定したパスにキャッシュが保存されるので、
環境変数を指定してダウンロード処理を呼ぶコードを実行する。

download.py

import tiktoken_ext.openai_public
import os
os.environ["TIKTOKEN_CACHE_DIR"] = "cache/"

for _, f in tiktoken_ext.openai_public.ENCODING_CONSTRUCTORS.items():
    f()

実行コマンド

python download.py

ここでは cache/ 配下にキャッシュが保存されることを確認できる。

$ ls  cache/
0ea1e91bbb3a60f729a8dc8f777fd2fc07cd8df4
6c7ea1a7e38e3a7f062df639a5b80947f075ffe6
6d1cbeee0f20b3d9449abfede4726ed8212e3aee
9b5ad71b2ce5302211f9c61530b329a4922fc6a4
ec7223a39ce59f226a68acc30dc1af2788490e15

cache配下をアーカイブしておく。

tar czf cache.tar.gz cache/

キャッシュアーカイブの展開、処理の実行

インターネットに接続できない環境に cache.tar.gz をコピーし展開する。

tar zxf cache.tar.gz

この状態であれば、インターネットに接続できない環境でも、
tiktokenを利用するコードを実行できる。

main.py

import tiktoken
import os
os.environ["TIKTOKEN_CACHE_DIR"] = "cache/"

encoding = tiktoken.get_encoding("cl100k_base")
tokens = encoding.encode("起立！気をつけ！こんにちは")
print(tokens)

実行コマンド

$ python main.py
[72718, 80195, 6447, 95221, 30512, 59739, 76622, 6447, 90115]

以上。

Forgejo Runnerでsetup-pythonを動かした手順メモ

Mon, 25 Mar 2024 23:06:52 +0900

このエントリでは、
Forgejo Runnerでsetup-pythonを動かしたメモを残しておきます。

Forgejo/Runner自体のセットアップ関連は、過去のエントリを参照ください。

UbuntuLinuxにForgejoをセットアップする手順
https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html

Workflowの変更

GitHub Actionsで、
setup-pythonを動かす場合は次のようにWorkflowを記載します。

on: [push]
jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/setup-python@v5
        with:
          python-version: '3.11'
      - run: python --version

Forgejoの場合、usesで指定したactionsは、
code.forgejo.orgのリポジトリをさすので、
GitHubを参照するよう、以下の通り変更します。

on: [push]
jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: https://github.com/actions/setup-python@v5
        with:
          python-version: '3.11'
      - run: python --version

Nodejsのインストール

Forgejo Runnerからactionsを動かすためにNodejsが必要なため、
インストールしておきます。

Utunbu22標準の状態でaptからインストールされる12系のNodejsでは、
setup-pythonが動かないようなので、
以下のサイトなどを参照して、20.x系のNodejsをインストールします。

Welcome to Node.js DEB repository
https://deb.nodesource.com/

OSの情報が取得できない問題の対処

ここまでの準備を行った状態でActionを動かしたところ、以下のようなエラーが発生しました。

::error::The version '3.11' with architecture 'x64' was not found for this operating system.%0AThe list of all available versions can be found here: https://raw.githubusercontent.com/actions/python-versions/main/versions-manifest.json

setup-pythonのコードを読んで確認したところ、
OSの情報が取得できていないことが原因ようです。
そこでlsb_releaseを実行すると、以下のようになっています。

$ lsb_release
No LSB modules are available.

lsb_releaseでOSの情報が取得できるよう、lsb-coreをインストールします。

sudo apt install lsb-core

インストール後、再度lsb_releaseを実行してOSの情報が取得できることを確認します。

$ lsb_release -i -r -s
Ubuntu
22.04

この状態で、Actionを再実行するとPythonがセットアップできます。

以上。

Forgejoでpandocを使ってdocxを表示する設定方法

Sun, 24 Mar 2024 01:48:57 +0900

このエントリでは、
Forgejoでpandocを使ってdocxを表示する設定方法を示します。
また、あわせてDiffの確認できるように設定します。

Forgejoのセットアップ関連は、過去のエントリを参照ください。

UbuntuLinuxにForgejoをセットアップする手順
https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html

ForgejoでJupyteNotebook(ipynb)を表示する設定方法
https://takemikami.com/2024/03/23/ForgejoJupyteNotebookipynb.html

試した環境:

Ubuntu Linux 22.04.3
Forgejo 1.21.7
pandoc 3.1.12.3

pandocのセットアップ

Forgejoでdocxを表示するためには、
docx→html変換が必要なので、pandocをインストールします。

以下コマンドでpandocをインストールします。

wget https://github.com/jgm/pandoc/releases/download/3.1.12.3/pandoc-3.1.12.3-linux-amd64.tar.gz
sudo tar zxf pandoc-3.1.12.3-linux-amd64.tar.gz -C /opt

# aptでインストールしたversionは、
# --embed-resourcesオプションが使えなかったので、手動で入れてます

Forgejoにrender commandを設定

Forgejoの設定ファイルに、
ipynvのrender commandにpandocを指定します。

custom/conf/app.ini への追記内容

[markup.docx]
ENABLED = true
FILE_EXTENSIONS = .docx
RENDER_COMMAND = "/opt/pandoc-3.1.12.3/bin/pandoc --embed-resources --from=docx --to=html "
IS_INPUT_FILE = true
RENDER_CONTENT_MODE = no-sanitizer

設定ファイルを修正したら、forgejoを再起動し反映します。

sudo systemctl restart forgejo

ブラウザからForgejoでdocxファイルを開くと、ファイル内容が表示されます。

Diff用のgit設定

Forgejoから呼び出しているgit diffの結果をテキストに変換すれば、
Diff表示画面に差分が表示されるようになるので、
git diffのtextconvでpandocを呼ぶように変更します。

Forgejoから利用するgitの設定については、以下を参考にします。

Git - Config options (git.config) | Configuration Cheat Sheet | Forgejo
https://forgejo.org/docs/latest/admin/config-cheat-sheet/#git---config-options-gitconfig

Forgejoの実行ユーザのgit/attributes設定を、以下のように指定します。

~/.config/git/attributes

*.docx diff=wordx

次のように、custom/conf/app.iniにgitconfigの設定を追記します。
ここではattributeファイルのパス、textconvにpandocの呼び出しを指定しています。

custom/conf/app.ini への追記内容

[git.config]
core.attributesFile = /var/lib/forgejo/.config/git/attributes
diff.wordx.textconv = /opt/pandoc-3.1.12.3/bin/pandoc --from=docx --to=markdown

※ここではforgejoのホームディレクトリは/var/lib/forgejoとしています。

ブラウザからForgejoでdocxの差分表示をすると、
次のようなイメージで差分が表示されます。

差分の表示イメージ

この方法では、差分の前後を表示しようとすると、
(git diffの差分表示ではないので)
バイナリファイルがそのまま表示されてしまう問題はありますが。

以上。

ForgejoでJupyteNotebook(ipynb)を表示する設定方法

Sat, 23 Mar 2024 22:26:47 +0900

このエントリでは、
ForgejoでJupyteNotebook(ipynb)を表示する設定方法を示します。

本エントリは、以下の記事を参考にしています。

How to render Jupyter Notebooks on Gitea | Gitea
https://blog.gitea.com/render-jupyter-notebooks/
※Giteaの記事ですが、Forgejoもほぼ同じ。

Forgejoのセットアップは、過去のエントリを参照ください。

UbuntuLinuxにForgejoをセットアップする手順
https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html

試した環境:

Ubuntu Linux 22.04.3
Forgejo 1.21.7
jupyter_core 5.7.2
nbconvert 7.16.3

jupyter-nbconvertのセットアップ

Forgejoでipynbを表示するためには、
ipynb→html変換が必要なので、jupyter-nbconvertをインストールします。

以下コマンドでpython/pipをインストールします。

sudo apt install python3
sudo apt install python3-pip

以下のコマンドで、
forgejoの実行ユーザに、jupyter-nbconvertをインストールします。
※ここではforgejoの実行ユーザはforgejoとしています。

sudo su - forgejo
pip3 install nbconvert

Forgejoにrender commandを設定

以下のドキュメントを参考に、render commandを設定します。

Markup (markup) | Forgejo
https://forgejo.org/docs/latest/admin/config-cheat-sheet/#markup-markup

Forgejoの設定ファイルに、
ipynvのrender commandにjupyter nbconverを指定します。

custom/conf/app.ini への追記内容

[markup.jupyter]
ENABLED = true
FILE_EXTENSIONS = .ipynb
RENDER_COMMAND = "/var/lib/forgejo/.local/bin/jupyter nbconvert --stdout --to html --template basic "
IS_INPUT_FILE = true

[markup.sanitizer.jupyter0]
ELEMENT = div
ALLOW_ATTR = class
REGEXP =

※ここではforgejoのホームディレクトリは/var/lib/forgejoとしています。

設定ファイルを修正したら、forgejoを再起動し反映します。

sudo systemctl restart forgejo

ブラウザからForgejoでipynbファイルを開くと、
JupyterNotebookで表示されるのと同じように表示されます。
この段階では、未だスタイルシートが適用されていない状態です。

スタイルシートの適用

以下のドキュメントを参考に、ForgejoのHTMLをカスタマイズします。

Other additions to the page | Forgejo
https://forgejo.org/docs/latest/developer/customization/#other-additions-to-the-page

HTMLヘッダーに追加する内容をとして、以下のファイルを追加します。
このヘッダーからipynbに適用するスタイルシートを読み込みます。

custom/templates/custom/header.tmpl

<link rel="stylesheet/less" type="text/css" href="/assets/css/jupyter.less" />
<script src="//cdn.jsdelivr.net/npm/less" ></script>

nbconvertで、使っているテンプレート・スタイルシートは次を参考にします。

Creating Custom Templates for nbconvert | nbconvert
https://nbconvert.readthedocs.io/en/v7.16.3/customizing.html

以下のコマンドで、
先ほどのヘッダーから読み込む、CSSファイルを追加します。

echo ".jupyter {" > custom/public/assets/css/jupyter.less
cat ~/.local/share/jupyter/nbconvert/templates/classic/static/style.css >> custom/public/assets/css/jupyter.less
echo "}" >> custom/public/assets/css/jupyter.less

この後、ブラウザからForgejoでipynbファイルを開くと、
スタイルシートが適用された状態で、
JupyterNotebookで表示されるのと同じように表示されます。

以上。

AWS CloudFormationのテンプレートからパラメータシート生成の検討

Wed, 20 Mar 2024 20:50:58 +0900

このエントリでは、
AWS CloudFormationのテンプレートからパラメータシートを生成して、
実装とパラメータ設計の乖離を防ぐように運用する対応を検討します。

テンプレートからパラメータ生成は次のツールがありますが、
フォーマット等をカスタマイズしたいニーズもあると思うので、
このエントリでは自前で実装することにします。

cfn-docgen - AWS CloudFormationテンプレートからドキュメントを自動生成するツールを公開しました | Qiita
https://qiita.com/horietakehiro/items/359ae6e9cb40fef50604

実装と利用方法

Resourcesの部分だけ出力するものを実装してみました。
実装としては、次のgen_cfn_docs.pyとspec_md.jinjaの通りです。
出力形式をカスタマイズしたい場合は、spec_md.jinjaを変更します。

gen_cfn_docs.py

import sys
import yaml
from jinja2 import Environment
from awscli.customizations.cloudformation.yamlhelper import yaml_parse

def generate_doc(input_yaml, template_jinja):
    with open(input_yaml) as fp:
        data = yaml_parse(fp.read())
    with open(template_jinja) as fp:
        tpl_str = fp.read()
    template = Environment().from_string(source=tpl_str)
    print(template.render(resources=data["Resources"]))

if __name__ == "__main__":
    if len(sys.argv) <= 2:
        print("usage: python gen_cfn_docs.py [input(yaml)] [template(jinja)]")
        exit(1)
    input = sys.argv[1]
    template = sys.argv[2]
    generate_doc(input, template)

spec_md.jinja

{% for re, rv in resources.items() %}

## {{ re }} ({{ rv["Type"] }})
{% for pe, pv in rv["Properties"].items() %}
- {{ pe }}{% if pv.__class__.__name__ != 'list' %}: {{ pv }}{% endif %}
{% if pv.__class__.__name__ == 'list' %}{% for sr in rv["Properties"][pe] %}
  - {% for spe, spv in sr.items() %}
      {{ spe }}: {{ spv }}
    {% endfor %}
{% endfor %}{% endif %}
{% endfor %}
{% endfor %}

PyYaml, awscli, jinja2に依存するのでインスト－ルします。

pip install PyYAML
pip install awscli
pip install Jinja2

実行方法は次の通りです。
target.yamlの部分に、CloudFormationのテンプレートファイルを指定します。

python gen_cfn_docs.py target.yaml spec_md.jinja > spec.md

未実装な点など

最低限という感じで作ってみたので、まだまだ実装すべき点はあると思います。
例えば、以下のような点です。

Resourcesのみ実装しているので、Parameterなどは必要に応じて変更が必要
Fn::Sub, Ref等の出力は、Jinja2のフィルタなども実装した方が良い

このエントリでは、この程度の生成は簡単にできると言うことが伝われば十分かなと。。

以下のエントリを参考にさせて頂きました、ありがとうございます。

【小ネタ】PythonでCloudFormationテンプレートをパースする時に組み込み関数の短縮系構文に邪魔されない方法 | DevelopersIO
https://dev.classmethod.jp/articles/dynamolocal-from-cfn/

以上。

UbuntuLinuxにMLflowをセットアップする手順

Tue, 19 Mar 2024 22:01:40 +0900

このエントリでは、
UbuntuLinuxにMLflowをセットアップする手順を示します。

MLflow
https://mlflow.org/

試した環境:

Ubuntu Linux 22.04.3
MLflow 2.11.1

MLflowのセットアップ

以下の手順に従って、MLflowをセットアップします。

5 Minute Tracking Server Overview | MLflow
https://mlflow.org/docs/latest/getting-started/tracking-server-overview/index.html

以下コマンドの通り、ユーザ・ディレクトリを用意します。

sudo useradd mlflow -d /var/lib/mlflow
sudo mkdir /var/lib/mlflow
sudo chown mlflow:mlflow /var/lib/mlflow

Pythonの仮想環境を作成し、MLflowをインストールします。

sudo su - mlflow
cd ~
python3 -m venv venv
. venv/bin/activate
pip install mlflow

インストールできたかを、確認しておきます。

mlflow --version

systemdでのサービス化

管理しやすくするためsystemdでサービス化します。
次の設定ファイルを作ります。

/etc/systemd/system/mlflow.service

[Unit]
Description=MLflow
After=syslog.target
After=network.target

[Service]
RestartSec=2s
Type=simple
User=mlflow
Group=mlflow
WorkingDirectory=~
ExecStart=/var/lib/mlflow/venv/bin/mlflow server --host 0.0.0.0 --port 5000 --backend-store-uri /var/lib/mlflow/.mlflow
Restart=always
Environment=VIRTUAL_ENV=/var/lib/mlflow/venv
Environment=PATH=/var/lib/mlflow/venv/bin

[Install]
WantedBy=multi-user.target

設定をリロード、サービスを開始します。

sudo systemctl daemon-reload
sudo systemctl enable mlflow
sudo systemctl start mlflow

サービスを実行しているホストの5000番ポートにブラウザでアクセスすると、
MLflowの画面が表示されます。

以上。

UbuntuLinuxにForgejoをセットアップする手順

Mon, 18 Mar 2024 10:00:17 +0900

このエントリでは、
UbuntuLinuxにForgejoをセットアップする手順を示します。
CI/CDを動かすため、Forgejo runnerもセットアップします。

Forgejo
https://forgejo.org/

Forgejo Actions administrator guide | Forgejo
https://forgejo.org/docs/next/admin/actions/

試した環境:

Ubuntu Linux 22.04.3
Forgejo 1.21.7
Forgejo runner 3.3.0
git 2.34.1
Docker 25.0.4

Gitのセットアップ

ForgejoにはGitが必要なので、
以下コマンドでインストールしておきます。

sudo apt install git

インストールできたかを、確認しておきます。

git --version

Forgejoのセットアップ

以下の手順に従って、Forgejoをセットアップします。

Get Forgejo | Forgejo
https://forgejo.org/download/

以下コマンドの通り、ユーザ・ディレクトリを用意します。

sudo useradd forgejo -d /var/lib/forgejo
sudo mkdir /var/lib/forgejo
sudo chown forgejo:forgejo /var/lib/forgejo

バイナリをダウンロード、GPG signatureの検証を行います。
（実際には、公式ドキュメントを参照して最新Versionで実施するのが良いと思います）

wget https://codeberg.org/forgejo/forgejo/releases/download/v1.21.7-0/forgejo-1.21.7-0-linux-amd64
gpg --keyserver keys.openpgp.org --recv EB114F5E6C0DC2BCDD183550A4B61A2DC5923710
wget https://codeberg.org/forgejo/forgejo/releases/download/v1.21.7-0/forgejo-1.21.7-0-linux-amd64.asc
gpg --verify forgejo-1.21.7-0-linux-amd64.asc forgejo-1.21.7-0-linux-amd64

ダウンロードしたバイナリのユーザ・実行権限を設定、/var/lib/forgejoに配置します。

sudo mv forgejo-1.21.7-0-linux-amd64 /var/lib/forgejo/forgejo
sudo chown forgejo:forgejo /var/lib/forgejo/forgejo
sudo chmod 744 /var/lib/forgejo/forgejo

Forgejoを起動します。

sudo su - forgejo bash -c "/var/lib/forgejo/forgejo web"

起動したホストの3000番ポートにブラウザでアクセスすると、
初期設定が表示されるので、各項目を指定して初期設定を行います。

ここでは、データベースのタイプを「SQLite3」に変更して、
「Forgejoをインストール」をクリックします。

ここまでの手順を終えると、Forgejoの基本的な機能が使えるようになります。

最初に登録したユーザが管理者になるので、ユーザを登録しておきます。

Dockerのセットアップ

Forgejo runnerにはDockerが必要なので、
以下の手順に従ってインストールしておきます。

Install Docker Engine on Ubuntu | docker docs
https://docs.docker.com/engine/install/ubuntu/

以下コマンドでDokcerのリポジトリを準備します。

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

以下コマンドでDokcerをインストールします。

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

インストールできたかを、確認しておきます。

docker --version

Forgejo runnerのセットアップ

以下に、Forgejo runnerの管理ガイドがあります。

Forgejo Actions administrator guide | Forgejo
https://forgejo.org/docs/latest/admin/actions/

管理ガイドの次の箇所に手順があるので、
これに従ってForgejo runnerをセットアップします。

Installation | Forgejo Actions administrator guide | Forgejo
https://forgejo.org/docs/latest/admin/actions/#installation

以下コマンドの通り、ユーザ・ディレクトリを用意します。

sudo useradd forgejo-runner -d /var/lib/forgejo-runner
sudo mkdir /var/lib/forgejo-runner
sudo chown forgejo-runner:forgejo-runner /var/lib/forgejo-runner

Dockerを利用できるように、dockerグループに所属させておきます。

sudo usermod -aG docker forgejo-runner

バイナリをダウンロード、GPG signatureの検証を行います。
（実際には、公式ドキュメントを参照して最新Versionで実施するのが良いと思います）

wget -O forgejo-runner https://code.forgejo.org/forgejo/runner/releases/download/v3.3.0/forgejo-runner-3.3.0-linux-amd64
wget -O forgejo-runner.asc https://code.forgejo.org/forgejo/runner/releases/download/v3.3.0/forgejo-runner-3.3.0-linux-amd64.asc
gpg --keyserver keys.openpgp.org --recv EB114F5E6C0DC2BCDD183550A4B61A2DC5923710
gpg --verify forgejo-runner.asc forgejo-runner

ダウンロードしたバイナリのユーザ・実行権限を設定、/var/lib/forgejo-runnerに配置します。

sudo mv forgejo-runner /var/lib/forgejo-runner/forgejo-runner
sudo chown forgejo-runner:forgejo-runner /var/lib/forgejo-runner/forgejo-runner
sudo chmod 744 /var/lib/forgejo-runner/forgejo-runner

Forgejoにランナーを追加します。
Forgejoの実行しているホストの3000番ポートにブラウザでアクセスして、
管理者でサインイン、右上のメニューから「設定」、
左側メニューで「Actions」「ランナー」、
右上の「新しいランナーを作成」、
「REGISTRATION TOKEN」をコピーします。

以下のコマンドで、Forgejo RunnerをForgejoに登録します。
{TOKEN}部分は、先ほどの「REGISTRATION TOKEN」に置き換えます。

sudo su - forgejo-runner bash -c "/var/lib/forgejo-runner/forgejo-runner register --no-interactive --token {TOKEN} --name runner --instance http://127.0.0.1:3000"

コマンド実行後に、ブラウザの画面をリロードすると、
一覧に追加したランナーが表示されます。

Forgejo Runnerを起動します。

sudo su - forgejo-runner bash -c "/var/lib/forgejo-runner/forgejo-runner daemon"

適当にリポジトリを作成して、
設定の「Actionsを有効にする」をチェックした後に、
以下のファイルをpushするとActions(CI)が実行されます。

.forgejo/workflows/demo.yaml

on: [push]
jobs:
  test:
    runs-on: docker
    steps:
      - run: echo All Good

systemdでのサービス化

ここまでの手順でForgejoとForgejo runnerは使えるようになったので、
管理しやすくするために、systemdによるサービス化しておきます。

Forgejo, Forgejo runnerの設定ファイルを作ります。

/etc/systemd/system/forgejo.service

[Unit]
Description=Forgejo
After=syslog.target
After=network.target

[Service]
RestartSec=2s
Type=simple
User=forgejo
Group=forgejo
WorkingDirectory=~
ExecStart=/var/lib/forgejo/forgejo web
Restart=always

[Install]
WantedBy=multi-user.target

/etc/systemd/system/forgejo-runner.service

[Unit]
Description=Forgejo runner
After=syslog.target
After=network.target

[Service]
RestartSec=2s
Type=simple
User=forgejo-runner
Group=forgejo-runner
WorkingDirectory=~
ExecStart=/var/lib/forgejo-runner/forgejo-runner daemon
Restart=always

[Install]
WantedBy=multi-user.target

設定をリロード、サービスを開始します。

sudo systemctl daemon-reload
sudo systemctl enable forgejo
sudo systemctl enable forgejo-runner
sudo systemctl start forgejo
sudo systemctl start forgejo-runner

以上の手順で、ひとまずForgejoとForgejo runnerを動かす事ができました。
各種設定は、以下の管理ガイドを参照して設定します。

Forgejo administrator guide | Forgejo
https://forgejo.org/docs/latest/admin/

ちなみに、Forgejoの設定ファイルは、このエントリの手順では /var/lib/forgejo/custom/conf/app.ini にあります。

以上。

MoneyForwardを使った家計の見直し手順

Sat, 30 Dec 2023 23:19:29 +0900

2024年から新NISAがはじまるので、
少しでも積立できるお金を増やせるように、
最近の数ヶ月は家計の見直しをしていました。

まだまだ見直しできる点はあると思われるものの、
MoneyForwardを使ってある程度は見直しできたと思うので、
そのノウハウをメモしておきます。

全体の流れは次の通りです。

準備段階

生活費の支払いを銀行引落・振込orクレカに寄せて１ヶ月生活する
MoneyForwardのIDを作って、生活費の支払い口座を連携する
「家計簿」で仕分け出来ていない出費を仕分ける

見直し段階

「収支内訳」機能で費目毎の割合を把握する
「予算をたてる」機能で「あなたと似たユーザ」と比較する
費目毎に対策を考え、実行する

準備段階

家計の見直しの準備段階として、まずは現状把握です。
MoneyForwardの機能を使って自動的に家計簿ができるようにしていきます。

生活費の支払いを銀行引落・振込orクレカに寄せて１ヶ月生活する

自動的に家計簿ができるようにするためには、
MoneyForwardと連携できる支払い方法に寄せる必要があります。

現金や、現時点(2023年12月時点)では連携できないQRコード決済(PayPayなど)は辞めて、
銀行引落・振込やクレジットカード払いで支払いをするようにします。

銀行口座やクレカが連携できるかは、
MoneyForwardの「口座」→「金融機関追加」から追加して確認します。

銀行引落・振込やクレジットカード払いで支払いする状態で１ヶ月生活し、
そのデータを家計見直しに使います。

MoneyForwardのIDを作って、生活費の支払い口座を連携する

MoneyForwardのIDを作って、銀行口座・クレカを連携します。

MoneyForwardは会計とかいろいろありますが、
個人向けは「MoneyForward ME」というサービスなのでこれを使います。

MoneyForward ME
https://moneyforward.com/

個人的には、住信SBIネット銀行を利用しているので、
「MoneyForward for 住信SBIネット銀行」を利用しています。
どちらでも良いですが、「for 住信SBIネット銀行」の方が、
無料会員が連携できる口座数の制限が緩いみたいです。

MoneyForward for 住信SBIネット銀行
https://ssnb.x.moneyforward.com/

銀行口座やクレカの連携は、
MoneyForwardの「口座」→「金融機関追加」から追加してします。

「家計簿」で仕分け出来ていない出費を仕分ける

MoneyForwardの「家計」→「家計簿」で、「収入・支出詳細」を確認できます。

この「収入・支出詳細」部分で大項目・中項目が赤色になっているものは、
収入支出の仕訳ができていないので、適切な費目を選ぶようにします。

銀行口座からのクレカの利用代金支払が、振替に鳴っていない場合は振替にしておきます。
この指定をしておかないと支出が二重計上されてしまいます。

ここまでの手順で家計簿が自動的に作られる状態になります。

見直し段階

家計簿ができたら、次の方法で支出をチェックします。

「収支内訳」機能で費目毎の割合を把握する
「予算をたてる」機能で「あなたと似たユーザ」と比較する

MoneyForwardの「家計」→「収支内訳」で、費目毎の支出の割合を把握します。
ここで割合が大きい費目は、見直しの効果が大きい費目と考えることができます。

MoneyForwardの「予算」→「予算をたてる」で、いろいろと回答すると、
「先月実績」と「あなたと似たユーザ」の費目毎の支出金額を比較できるようになります。
ここで「あなたと似たユーザ」よりも金額が大きい費目は、
見直しの余地がある費目と考えることができます。

これで見直しを行うポイントを絞れたので、
「見直しの効果が大きい」かつ「見直しの余地がある」費目から支出を見直していきます。

MoneyForwardでは、以下の費目に分けられています。

日用品
食費
教養・教育
趣味・娯楽
衣服・美容
健康・医療
交通費
交際費
住宅
水道・光熱費
通信費
自動車
保険
税・社会保障

費目毎の具体的な見直し方法は、
家族構成・仕事・居住地域などによって大きく異なると思うので、
このエントリでは書きませんが、
「○○費」「節約」とかでググれば、いろいろ情報は出てくると思います。

通信費、保険あたりの節約では、
契約する会社を変更すると安くなる情報がよく出てきますが、
支出を「あなたと似たユーザ」程度まで下げることが目標であれば、
会社を変えなくても、
現在契約している会社に相談でなんとかなる場合が多いと思います
（格安ではなく平均的な水準なので）。

また、掛けようと思えばいくらでも掛けられてしまう保険などは、
「あなたと似たユーザ」がどのくらい支出しているかは、目安として良いのかなと思います。

以上。。