研究で使えそうなインフラ系のデータセット

リンク集

• NIIが公開しているデータセットリンク
  • https://www.nii.ac.jp/dsc/idr/datalist.html
• Usenixが公開しているデータセットのリンク
  • https://www.usenix.org/cfdr-data

アクセスログ

• Blue/Gene（スパコン）のログのデータセット
  • https://www.christian-engelmann.info/publications/taerat09blue.pdf
• HTTPのアクセスログ
  • https://qiita.com/tomoyk/items/c88a18113a459efdeebb
• クラウド・分散システム研究室のWebサイトのアクセスログ
  • cdsl-research/website-access-logs-public: web server access logs and error logs
• LogHub(いろいろなログのデータセット)
  • https://github.com/logpai/loghub/
• Amazonの社内システムのアクセスログ
  • https://archive.ics.uci.edu/dataset/216/amazon+access+samples
• 25年分の検索エンジンのクエリ
  • https://github.com/webis-de/archive-query-log
• FTPサーバのアクセスパターン分析
  • https://dl.acm.org/doi/10.1145/155768.155771

システム障害

• Failure Diagnosis in Microservice Systems: A Comprehensive Survey and Analysis | ACM Transactions on Software Engineering and Methodology
  • Table 7にデータセットの一覧がまとめてある
• salesforce/PyRCA: PyRCA: A Python Machine Learning Library for Root Cause Analysis
  • RCAのライブラリ
• GoogleのKubernetesクラスタのデータセット
  • google/cluster-data: Borg cluster traces from Google
• AlibabaのKubernetesクラスタやトレースのデータセット
  • https://github.com/alibaba/clusterdata/tree/master
• Metaの分散トレーシングのデータセット
  • facebookresearch/distributed_traces: Distributed tracing data from Meta’s microservices architecture.
• AzureのAzure Functionsのデータセット
  • https://github.com/Azure/AzurePublicDataset/blob/master/AzureFunctionsDataset2019.md
  • サーバレス環境でのプログラムの実行時間，回数，平均実行時間，最大実行時間，最短実行時間，メモリ使用量が含まれている．
• トレース，ログ，メトリクスのデータセット
  • Traces, Metrics, and Logs for Anomaly Detection and Root Cause Localization in Microservices

障害注入テスト

• Jepsen: On the perils of network partitions