ごらくらいふ

プログラミングしたりゲームしたり

WPFかじり: HTTP GETする

MSDNのHTTPページにリクエストを飛ばして、レスポンスから適当に表示してみる。

工程を分割

URIからリクエストの発行

var uri = "https://docs.microsoft.com/en-us/dotnet/framework/network-programming/http";
var request = WebRequest.Create(uri);
var response = await request.GetResponseAsync();

response.Close();
  • WebRequestはabstruct
  • WebRequest.Create(string uri)はFactoryで、http(s)部分を見つけるとサブクラスであるHttpWebRequestインスタンスを返却してくれるらしい
  • GetResponseAsync()を発行して初めてリクエストが飛ぶ

レスポンスを取り出す

var stream = response.GetResponseStream();
var reader = new StreamReader(stream);
var responseBody = await reader.ReadToEndAsync();

reader.Close();
  • Responseからはstreamが得られる

HTMLをパースして要素を取り出す

HtmlAgilityPackを使用する

var htmlDoc = new HtmlAgilityPack.HtmlDocument();
htmlDoc.LoadHtml(responseBody);

var title = htmlDoc.DocumentNode.SelectSingleNode("//title");

ViewModel全体コード

public class MainWindowViewModel :INotifyPropertyChanged
{
    private string _text;
    public string Text
    {
        get { return _text; }
        set
        {
            if (_text != value)
            {
                _text = value;
                NotifyPropertyChanged();
            }
        }
    }

    public event PropertyChangedEventHandler PropertyChanged;
    private void NotifyPropertyChanged([CallerMemberName] string propertyName = "")
    {
        if (PropertyChanged != null)
        {
            PropertyChanged(this, new PropertyChangedEventArgs(propertyName));
        }
    }

    public MainWindowViewModel()
    {
        fetchWebSite("https://docs.microsoft.com/en-us/dotnet/framework/network-programming/http");
    }

    private async void fetchWebSite(string uri)
    {
        var request = WebRequest.Create(uri);
        var response = await request.GetResponseAsync();
        var stream = response.GetResponseStream();
        var reader = new StreamReader(stream);
        var responseBody = await reader.ReadToEndAsync();

        var htmlDoc = new HtmlAgilityPack.HtmlDocument();
        htmlDoc.LoadHtml(responseBody);

        var title = htmlDoc.DocumentNode.SelectSingleNode("//title");
        Text = title.InnerHtml;

        reader.Close();
        response.Close();
    }
}

雑感

  • async methodからVMのpropertyをいじってもちゃんとUIに反映してくれるの優しい

参考リンク

WPFをかじりだした。Hello world.

直近、Web systemとしてC#に触れる機会が発生して、ついでにGUIアプリケーションの作り方にも触れたいと思ったのでかじった。

とりあえず@ITの連載をざっと流し読みして雰囲気を掴む。

public partial class MainWindow :Window
{
    public MainWindow()
    {
        InitializeComponent();
        DataContext = new MainWindowViewModel {
            text = "Hello World",
        };
    }
    public class MainWindowViewModel
    {
        public string text { get; set; }
    }
}
<Grid>
    <Label Content="{Binding text}" />
</Grid>

所感

  • MVVM
    • DataContextに突っ込んだオブジェクトのpublic propertyにBindできる
      • クラス生成しなくても即時生成objectでもbind出来なくはないらしい
  • エントリーポイントはApp.xaml
    • Buildすると中にMain()が生成されるらしい
    • Application.StartupUriにMainViewのPathが突っ込んである
      • Uriってことは、Routingあたりが居てView遷移の交通整理でもしてくれんのかな
  • View(Window?)のライフサイクルが知りたい
    • 泥のOnCreateとか、OnDestroy相当のやつ
    • View, ViewModelはいつ生まれても死んでもいいようにModelやら切り離す設計を強要してる?
      • Apprlcationのライフサイクルがあればそっち管理で十分か。あるか知らんけど。

ちょろい。いや、ちょろいと思わせてくれないと辛いんだけども。

参考URL

Insider.NET > 業務アプリInsider > 連載:WPF入門 - @IT

Select文でJoinするときは一番深いところをFromにしたい

前提

  • mysqlでの話。
  • Subjects --(1:n)-+ Subjects_Tags +-(n:1)-- Tags というテーブル構造での話。

本題

趣味の範疇なのだろうけれども、レコード数が増加する方向のJOINは極力控えたい。 Select * from Subjects left join Subjects_Tags ...より、Select * from Subjects_Tags left join Subjectsの方が好み。

「行を増やすこと自体にコスト多少コストがかかる」感覚を持っている。 オプティマイザがよしなにやってくれるはずなんだろうけどね。

具体的には

SELECT S.name, T.name AS tag_name
FROM Subjects AS S
  LEFT JOIN Subjects_Tags AS S_T ON S.id = S_T.subject_id
  LEFT JOIN Tags AS T ON S_T.tag_id = Tags.id
WHERE S_T.subject_id = :id
;

よりも

SELECT S.name, T.name AS tag_name
FROM Subjects_Tags AS S_T
  LEFT JOIN Subjects AS S ON S_T.subject_id = S.id
  LEFT JOIN Tags ON S_T.tag_id = Tags.id
WHERE S_T.subject_id = :id
;

の方が好み。

「リトル・レディ」勝手に復活日誌 #20 (完結宣言) + 過去記事をちょっと整えた

f:id:yajamon:20150715095909p:plain

もう二年前なのね。

リトル・レディ関連の記事を全部廻って記事を整えました。

  • あとで読む を取っ払った
  • 次の記事リンクを貼った

いまいちど、リトルレディをプレイする事ができた。

「リトル・レディ」勝手に復活開発は、これにて完了とする。

これから手を加えるのは、より現代ブラウザ向けの修正になるので、"リファクタリング:リトル・レディ"とかのタイトルでやろうかな。

はじめから

yajamon.hatenablog.com

型に語らせて in kotlin (and java ?)

某本の某コードをkotlin化している。

この本はちょっとしたイラッを無数に積み重ねる反面教師本だと感じている。

何を悪しとして何を良しとしたかの備忘録。

あまり手を加えず、本件とは無関係の要素を削ぎ落としたコード片が以下の通りである。

abstract class Token {
    open fun isIdentifier():Boolean { return false }
    open fun getText():String { return "" }
}
class Lexer {
    inner class IdToken(private val value:String) :Token {
        override fun isIdentifier(): Boolean { return true }
        override fun getText(): String { return value }
    }
    fun read(): Token {
        // 諸々省略
        return IdToken()
    }
}
class Leaf {
    fun parse(lexer: Lexer) {
        val t = lexer.read()
        if (t.isIdentifier()) {
            // なにかしらの処理
        }
    }
}

少しイラッとしただろうか。欠片でも伝われば報われる。

何がクソだと感じたか

  • super classであるToken特定のsub classの存在を予定しているところ

お前なんかこうだ!

abstract class Token {
    open fun getText():String { return "" }
}
inner class IdToken(private val value:String) :Token {
    override fun getText(): String { return value }
}
class Lexer {
    fun read(): Token {
        // 諸々省略
        return IdToken()
    }
}
class Leaf {
    fun parse(lexer: Lexer) {
        val t = lexer.read()
        if (t is IdToken) {
            // なにかしらの処理
        }
    }
}

javaにだってinstanceof演算子がいるからできるでしょ。

型に語らせれば分かることをis**(Type)**化する意味はない。

Production環境のMastodonでnohup.outログがたまり続ける件を解決する

Mastodonを導入した際、npmコマンドだけバックグラウンドで稼働するようになっていなかったため、nohupを使ってバックグラウンドで稼働するようにした。

yajamon.hatenablog.com

それ以降、nohup.outにログがダバダバと放出され続けている。 以下はログの一部。

ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b error: データベース"mastodon_development"は存在しません
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at [object Object].Connection.parseE (/home/mastodon/live/node_modules/pg/lib/connection.js:554:11)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at [object Object].Connection.parseMessage (/home/mastodon/live/node_modules/pg/lib/connection.js:381:17)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at Socket.<anonymous> (/home/mastodon/live/node_modules/pg/lib/connection.js:117:22)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at emitOne (events.js:77:13)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at Socket.emit (events.js:169:7)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at readableAddChunk (_stream_readable.js:153:18)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at Socket.Readable.push (_stream_readable.js:111:10)
ERR! 0b9a54ac-3018-4f52-9bbd-9ff0af90184b     at Pipe.onread (net.js:540:20)

Production環境で動作しているにもかかわらずmastodon_developmentを探そうとしている。

答え。typo

mastodon-streamingにて、環境変数typoしていた。

RNODE_ENVとなっており、正しくproduction環境として動作していなかった。

(2017/05/07 16:50) 当該記事の問題箇所は修正済み。

CentOS6.9にMastodonを導入する(Docker 不使用)

多分いろんなタイトルと被っちゃってると思う。でも伝わる文言がこれなんだ。許してほしい。

いちWebServiceインスタンスのためにOS入れ替えなんてしてられるか! 所詮Ruby on Rails、依存をかっさばきゃあいいんでしょう!

Production-guide.mdに沿ってすすめる。

基本的にPackage Managerを使って解決していきたい。

環境

TL;DR

  • CentOS6.9でも Mastodonは動く
  • 札束持ってAWSの扉叩いたほうが百倍、いや万倍は生産性高い

mastodon userを作成しておく

sudo useradd mastodon
sudo passwd mastodon

外部からsshでパスワードログインさせない、だとかは割愛。

Software Collectionを導入しておく

CentOS6.9の標準ではバージョンの足りないパッケージがちらほらあるので、Software Collectionを導入しておく。

sudo yum install centos-release-scl
sudo yum-config-manager --enable rhel-server-rhscl-6-rpms

Apacheを2.4.5以降にする

WebSocket対応のリバースプロキシを提供するmod_proxy_wstunnelが必要だが、Apache 2.4.5以降で有効とのこと。

この件に関しては他でも流用できそうなので別記事にした。

yajamon.hatenablog.com

General Depenciesを解決する

資料を元に解決する。

# これを CentOSナイズする
sudo apt-get install imagemagick ffmpeg libpq-dev libxml2-dev libxslt1-dev nodejs file git curl
curl -sL https://deb.nodesource.com/setup_4.x | sudo bash -

sudo apt-get install nodejs

sudo npm install -g yarn

ImageMagick

https://www.imagemagick.org/script/index.php

画像操作周りをMastodonで取り扱う際に使ってるのかな。

baseリポジトリ6.7.2.7を使う。

導入方法
sudo yum install ImageMagick

FFmpeg

https://ffmpeg.org/

動画周りの処理を任せてるのかな。

ubuntuでの導入方法しか書いてない理由はこいつのせいじゃないかなと思う。

導入方法

公式ページのDownloadを見るとRPMFusionを案内しているのでそちらから導入してみる。

RPMFusion

http://qiita.com/m2wasabi/items/6d6a68da2e9dada92369#rpmfusion を参考にした。

  • --enablerepo前提でインストールするので元記事のyum-plugin-*は除外

まず自身の環境チェック

cat /etc/redhat-release
# CentOS release 6.9 (Final)
arch
# x86_64

RPM Fusionのページから、必要なリポジトリがどれか判断する。

  • Browse available packagesからffmpegを探してみる
    • CentOS 6.9x86_64
    • freeにありそう
    • applications/multimediaにありそう
    • あった

PGP-Keyのインストール

  • Keysのページから探す
    • freeEL 6のkeyをインストールすればいい
sudo gpg --keyserver pgp.mit.edu --recv-keys 849C449F

リポジトリを追加する

sudo yum localinstall --nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion-free-release-6.noarch.rpm

rpmfusionは初期状態無効とする。

sudo vi /etc/yum.repo.d/rpmfusion-free-updates.repo
[rpmfusion-free-updates]
# enabled=1
enabled=0

yum-config-manager使えっても良かったのかな。

ffmpeg
sudo yum --enablerepo=rpmfusion-free-updates install ffmpeg

libpq-dev

PostgreSQLのライブラリらしい。この文言のままではyumで見つからない。

  • yumで対応するのはpostgresql-develらしい
    • これが無いことで発生するエラーを見ると、必要なヘッダーが無いgem pgを導入する際ビルドが失敗するらしい
    • yum search postgresqlして出てきた結果を見ると、これでよさそう
      • postgresql-devel.x86_64 : PostgreSQL development header files and libraries
導入方法
sudo yum install postgresql-devel

libxml2-dev

yumだとlibxml2-develが対応するのかな。URLは同じ場所を示している。

The XML C parser and toolkit of Gnome http://xmlsoft.org/

導入方法
sudo yum install libxml2-devel

libxslt1-dev

yumだとlibxslt-develが対応するのかな。URLは同じ場所を示している。

なぜ1が無いのだろう…

導入方法
sudo yum install libxslt-devel

nodejs and yarn

anyenv -> nodenv 経由で入れる。

ミーハーなので現時点(2017/04/19)の最新版7.9.0をインストールする。

yarn installでなんか死んだ。 Production-Guideに従って、4.xの最新版である4.8.2を入れた。

原因は別件だった: 下記トラブルシュート参照

とくに考えもなくndenv使ってたけど、コミットが静かなので浮気。(**envに活発性を求めてもしょうがないけど)

nodenvはnodenvでndenv OwnerにJoin持ちかけたりanyenvから他のnode.js系env排斥を持ちかけたりするコミュニティなのでどうなのと思わなくもない。

導入方法
su - mastodon

git clone https://github.com/riywo/anyenv ~/.anyenv
echo 'export PATH="$HOME/.anyenv/bin:$PATH"' >> ~/.bash_profile
echo 'eval "$(anyenv init -)"' >> ~/.bash_profile
exec $SHELL -l

anyenv install nodenv
exec $SHELL -l

nodenv install 4.8.2
nodenv global 4.8.2
npm install -g yarn
nodenv rehash

file, git, curl

特にすり合わせるポイントはない。

導入方法
sudo yum install file git curl

Redis

Sidekiqの要求バージョンが>= 2.8.0とのこと。 epelから入手したRedisでは2.4.xのため、終盤になって問題が発覚して非常に悲しい気持ちになる。

SoftwareCollectionからRedis 3.2を導入する。

導入方法
sudo yum install rh-redis32-redis
# Lockファイルを置くディレクトリが作れておらず拗ねたので対応
sudo mkdir /var/opt/rh/rh-redis32/lock
sudo mkdir /var/opt/rh/rh-redis32/lock/subsys

sudo service rh-redis32-redis start
sudo chkconfig rh-redis32-redis on

PostgreSQL

Ruby on Rails というか ActiveRecordsの要求バージョンが>= 9.1とのことなので、SoftwareCollectionからPostgreSQL 9.5を導入する。

導入方法
sudo yum install rh-postgresql95-postgresql-server
sudo yum install rh-postgresql95-postgresql-contrib

scl enable rh-postgresql95 bash

# rootでの作業 ここから
su -
echo 'source /opt/rh/rh-postgresql95/enable' >> /etc/profile.d/rh-postgresql95.sh
exit
# rootでの作業 ここまで

sudo /opt/rh/rh-postgresql95/root/usr/bin/postgresql-setup --initdb
sudo service rh-postgresql95-postgresql start
sudo chkconfig rh-postgresql95-postgresql on

sudo passwd postgres

mastodonを導入する

PostgreSQL userを作る

su - postgres
psql
CREATE USER mastodon CREATEDB;
\q
# postgres userから抜ける
exit

rbenvを使ってrubyを導入する

su - mastodon

anyenv install rbenv
exec $SHELL -l

rbenv install 2.4.1
rbenv global 2.4.1

mastodon をインストールする

cd ~
git clone https://github.com/tootsuite/mastodon.git live
cd live

gem install bundler
bundle install --deployment --without development test
yarn install

mastodon の環境設定

.env.productionを設定していく。

pwd
# /home/mastodon/live
cp .env.production.sample .env.production
redis

以下を.env.productionの項目で編集する。

REDIS_HOST=localhost
REDIS_PORT=6379
DB (PostgreSQL)

以下を.env.productionの項目で編集する。

DB_HOST=
DB_USER=mastodon
DB_NAME=mastodon
DB_PASS=
DB_PORT=5432

mastodon のセットアップ

RAILS_ENV=production bundle exec rails db:setup
RAILS_ENV=production bundle exec rails assets:precompile
サービスの作成

CentOS6.9だし、Systemdは使ってないので/etc/init.d/に配置するほうのサービスとして書き出す。

手探りでstart-stop-deamon無いどころかdeamon使ってないし、というかstartstopしかない。

mastodon-web

#!/bin/bash
#
# Mastodon worker web
#
# chkconfig: - 85 15
# description: Mastodon web

prog="mastodon-web"
username="mastodon"
root="/home/mastodon/live"
pidfile="${root}/web.pid"

start() {
    if [ -f $pidfile ]; then
        echo "Mastodon webservice running..."
        exit 1
    fi
    su - $username -c "cd ${root} && RAILS_ENV=production PORT=3000 bundle exec puma -C config/puma.rb -d --pidfile ${pidfile}"
    return 0
}
stop() {
    if [ -f $pidfile ]; then
        su - $username -c "kill $(cat ${pidfile}) && rm ${pidfile}"
    else
        echo "Mastodon webservice dos'nt running..."
        exit 1
    fi
    return 0
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    *)
        echo $"Usage $prog {start|stop}"
        exit 2
esac
exit 0

mastodon-sidekiq

#!/bin/bash
#
# Mastodon worker sidekiq
#
# chkconfig: - 85 15
# description: Mastodon sidekiq

prog="mastodon-sidekiq"
username="mastodon"
root="/home/mastodon/live"
pidfile="${root}/worker.pid"
logfile="${root}/sidekiq.conf"

start() {
    if [ -f $pidfile ]; then
        echo "Mastodon worker sidekiq running..."
        exit 1
    fi
    su - $username -c "cd ${root} && RAILS_ENV=production DB_POOL=5 bundle exec sidekiq -d -P ${pidfile} -L ${logfile} -c 5 -q default -q mailers -q pull -q push"
    return 0
}
stop() {
    if [ -f $pidfile ]; then
        su - $username -c "kill $(cat ${pidfile}) && rm ${pidfile}"
    else
        echo "Mastodon worker sidekiq dos'nt running..."
        exit 1
    fi
    return 0
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    *)
        echo $"Usage $prog {start|stop}"
        exit 2
esac
exit 0

mastodon-streaming

#!/bin/bash
#
# Mastodon streaming API service
#
# chkconfig: - 85 15
# description: Mastodon steaming API service

prog="mastodon-streaming-api"
username="mastodon"
root="/home/mastodon/live"
pidfile="${root}/streaming.pid"

start() {
    if [ -f $pidfile ]; then
        echo "Mastodon  streaming API running..."
        exit 1
    fi
    su - $username -c "cd ${root} && NODE_ENV=production PORT=4000 nohup npm run start & echo \$! > ${pidfile}"
    return 0
}
stop() {
    if [ -f $pidfile ]; then
        local pid=$(cat ${pidfile})
        local pgid=$(ps ho pgid -p $pid | sed 's/\s//g')
        for target in $(ps h -g $pgid | sed 's/^\s\+//' | sed 's/\s\+/\t/g' | cut -f1)
        do
            kill $target
        done
        su - $username -c "${pidfile}"
    else
        echo "Mastodon streaming API dos'nt running..."
        exit 1
    fi
    return 0
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    *)
        echo $"Usage $prog {start|stop}"
        exit 2
esac
exit 0

上記を/etc/init.d/に配置したら、以下を実行する。

sudo service mastodon-web start
sudo chkconfig mastodon-web on
sudo service mastodon-sidekiq start
sudo chkconfig mastodon-sidekiq on
sudo service mastodon-streaming start
sudo chkconfig mastodon-streaming on
参考資料

CronJobの作成

RAILS_ENV=production
@daily cd /home/mastodon/live && /home/mastodon/.rbenv/shims/bundle exec rake mastodon:daily > /dev/null

トラブルシュート

yarn installでなんか死んでる

bufferutilなるパッケージがビルドできずに死んでた。死ぬまで眼を凝らしていたらC++11コンパイラが見つかってなさそうだった。

gcc --version
# gcc (GCC) 4.4.7 20120313 (Red Hat 4.4.7-18)
g++ --version
# g++ (GCC) 4.4.7 20120313 (Red Hat 4.4.7-18)

Software Collectionから最新のDevToolset3を導入した。

sudo yum install devtoolset-3-gcc devtoolset-3-binutils
sudo yum install devtoolset-3-gcc-c++ devtoolset-3-gcc-gfortran

scl enable devtoolset-3 bash

パッケージを導入するたびにscl enableを実行することで有効化できる。 これをシェル起動時毎回呼び出すと手軽らしい。

# rootになる
su -

echo 'source /opt/rh/devtoolset-3/enable' >> /etc/profile.d/devtools.sh

# rootを抜ける
exit

binutilsgfortranがよくわからん。

参考資料

CentOSに新しいバージョンのGCC/G++(4.8/4.9)をインストールする - TASK NOTES http://www.task-notes.com/entry/20151114/1447492231

Devtoolset-3 — Software Collections https://www.softwarecollections.org/en/scls/rhscl/devtoolset-3/

SMTPサーバ用意するのしんどい

.env.production.sampleにも書いてあったけど、SparkPost使えば?とのこと。

SendGridを使用することにした。

さくらの VPS + CentOS7 で 俺専用 Mastodon インスタンスを立ててみた話 | WWW WATCH https://hyper-text.org/archives/2017/04/mastodon-instance-single-user.shtml

PostgreSQLのident認証が通らない!

これのせいでDB作成ができずに2日ほど作業が止まった。

mastodon userでpsqlを叩くとPostgreSQLは起動する。

psql -h localhostとすると、ident認証が通らずうまくいかない。

# local
local trust
# IPv6
host ::128 ident
# IPv4
host 127.0.0.1/32 ident

。。。別にlocalhostのために一旦ネットワーク出る必要なくない?

ということで.env.productionからDB_HOSTの値がなくなった。

S3にうまくアップロードできない

参考資料を元に進めたところ、S3へのアップロードで500エラーがかえってきたりした。 ポイントは多分以下だと思う。

# 東京リージョンでの設定
S3_HOSTNAME=s3-ap-northeast-1.amazonaws.com
# ENDPOINTを明記する場合、https:// を付けておく
S3_ENDPOINT=https://s3-ap-northeast-1.amazonaws.com

情報源ごとに情報がブレるのは、Mastodonのバージョンによって挙動が違ったのかもしれない。 この情報は、Mastodon 1.2.2で確認している。

参考資料

自分でアップロードしたのはS3に上がるが、リモートフォローした人のアイコンとかS3に上がらない

S3設定の更新をしたら、Sidekiqの再起動も必要だった。

リモートフォロー周りはSidekiq Workerが取り持ってくれてるが、S3設定後に再起動を忘れると、ローカルに保存する設定のままになっている。

所感

  • Mastodon 楽しい
  • こんだけ手間かかるならそらCentOSじゃなくてUbuntuでやるわ
  • ケチって過去にVPS内におっ立てたOSでちびちびやるより、AWSへ札束でノックしに行くなりしたほうが百倍、いや万倍は生産性高い