Research

TCPの短命接続の高速化

connperfのTCPの短命接続モードで、ハードウェアリソースを使い切るまえに、ソフトリミットに到達してした問題を、TCP_NODELAY, TCP_QUICKACK, SO_LINGER, TCP_FAST_OPENを設定して、ある程度解決した。

https://github.com/yuuki/connperf/pull/10

• TCP_NODELAY: Nagle Algorithmを無効にする。少量のデータであっても即座に送信する。 https://linux.die.net/man/7/tcp
  • Go言語ではデフォルトで有効になっている。https://golang.org/pkg/net/#TCPConn.SetNoDelay
• TCP_QUICK_ACK: 通常のTCPの動作に従って、必要に応じて遅延させるのではなく、すぐにACKが送信される。
  • 設定方法はnet.Conn -> TCPConn -> syscall.RawConn -> rawconn.Controlでfdを手に入れてからsetsockoptする https://kechako.dev/posts/2018/12/03/create-udp-conn-each-client/
  • 実験の環境ではあまり効果がなかった。
• SO_LINGER: close(2)後に即座にtimeoutさせる https://man7.org/linux/man-pages/man7/socket.7.html Go言語でSO_LINGERを設定する方法 https://golang.org/pkg/net/#TCPConn.SetLinger https://github.com/yuuki/connperf/pull/10/commits/c531614832c00ab74c2c2fff8247ce31d04493ef
  • 実験では少し効果があった。
• TCP_FAST_OPEN: 一度コネクションを貼った相手とは、TCPの3ウェイハンドシェイク中にデータを送受信できるようになる。クライアントからSYNとともにデータを送信することで、実際にデータを送受信開始するまでの待ち時間が短縮できる。 https://asnokaze.hatenablog.com/entry/2017/05/09/223534
  • clientとserverで設定するために echo 3 > /proc/sys/net/ipv4/tcp_fastopen を設定。 https://github.com/bradleyfalzon/tcp-fast-open
    • connectを実行せず、いきなりsocketでソケットを作成して、いきなりsendtoのオプションに設定する。syscall.Sendto(c.fd, data, syscall.MSG_FASTOPEN, sa)
    • https://github.com/bradleyfalzon/tcp-fast-open/blob/master/client.go#L39https://christina04.hatenablog.com/entry/go-so-reuseport の記事にListenConfigでsocket optionを設定できそう。 net: add support for TCP Fast Open 経由で https://github.com/shadowsocks/go-shadowsocks2/pull/162 にGoでTCP_FASTOPENを設定するコードがあった。
  • 実験では、これも効果があった。
• SO_LINGERとTCP_FASTOPENにより、15k conns/sでソフトリミットにあたっていたのが、20k conns/sまでスケールするようになった。
• 今ならコードを変更しなくても、eBPFでできるかも。BPF_PROG_TYPE_CGROUP_SOCKあたりでできないか。

研究室で発表

所属研究室の研究会で、最近進めているジャーナル向けの研究をまとめて発表した。翌日にたまたま研究室を訪れて、先生と話をしたときに、昨日の話はおもしろかったですと仰っていただいてうれしかった。カーネルとユーザのコピーコストが問題なら、ユーザ側で動的リンクされたライブラリからフローをとる方法はどうかという話をいただいて、たしかにそれは考えていなかったなと気づいた。クラウドで広く利用されているGo言語が直接システムコールをたたくので、この手法は使えないのだが、これも比較しておこう。

Obsidianを導入した

先週、TaskpaperとPlan、Totを導入した話を書いた。意外とさっとメモするケースがなくてTotはまだそんなに使っていない。PlanとTaskpaperは、常に使用している。

TaskpaperにTo-Doと調査メモを書いているのだけど、調査メモやプログラムの実行結果を貼っていくとTo-Doが視認しづらくなっていく問題があった。細かいTo-DoをカレンダーベースのPlanで管理するのはやはり難しいので、複雑なTo-Do管理はテキストベースのTaskpaperがよい。 そこで、前から気になっていたMarkdownノートアプリのObsidianを使い始めた。ObsidianはNotionやEvernoteのようなSaaS型のノートアプリと違って、ローカルにMarkdownファイルが配置されるだけ。Dropboxでバックアップや共有もできる。画像もローカルに配置され、貼り付けた画像をプレビュー表示でみれる。PDFもプレビュー表示でみれるのもよい。まだデータが少ないので評価は慎重になったほうがいいけど、ローカル型で通信しないので、Obsidianは動作がとにかく快適だ。

Roam Researchと一緒で、Today's memoをショートカットで毎日つくって、そこにタイムラインでメモを書いていく。ある程度まとまった話はinboxファイルにまとめていく。テキストにどの箇所にもタグをつけて、タグを書いた前後のテキストを一覧したりもできる。

ObsidianでTo-Do管理はできないもないけど、余計なものがみえないTaskpaperを今は使っている。

今度はNotionとの使い分けに悩んできた。