KATOエンジニヤリング開発日誌

「アウトプット無きエンジニアにインプットもチャンスも無い」の精神で書いています

システムトレード開発基盤の開発状況をGitHubに公開します

現在システムトレード開発基盤を構築していますが、今まではスクリプトにデータベースアクセスユーザのパスワードや、接続している外部サイトのID・パスワードをスクリプトにベタ書きしていたためGitHubに公開することができていませんでした。

上記のような公開することができない情報をコンフィグファイルとして別ファイルに保管するようにしたので、今までスクリプトを管理していたBitBucketからGitHubに移行して、開発状況を順次公開していこうと思います。

続きを読む

2019年9月の活動報告 1

ここ数ヶ月、転職活動と情報処理技術者試験の勉強で忙しく、ブログをサボりがちなので今月行なったことをまとめて書きたいと思います。

今月は結構活動したので2回に分けて書いていこうと思います。

f:id:masayuki_kato:20190928155104j:plain

続きを読む

エンジニア向け転職支援サイトの情報漏洩における不信感について

エンジニアに特化した転職支援サイトであるFowkwellで登録されている「氏名」が特定期間で一般閲覧できる状態であると報告がありました。

ネットの反応を調べて見ましたが違和感を感じたので所感を表明したいと思います。

続きを読む

ConoHa APIをつかって「お知らせ」を定期的に確認する - API 調査編 -

以前にもブログに書いた通り、株式分析基盤はConoHa VPS上で稼働しています。

www.kato-eng.info

VPSのような他社リソースを使用する場合、メンテナンス情報や障害情報を定期的に確認する必要がありますが毎回ConoHaにログインして「お知らせ」を確認するのは面倒なのでConoHa APIを使用して「お知らせ」を取得しSlack通知する仕組みを作りました。

続きを読む

日経平均と各日本株式との相関係数を算出するスクリプトを作成した

相関係数とは2つのデータ間にどれくらいの関係性があるかを示す指標として使われます。

KABU+では前日終値からの変動比率が取得できるので、日経平均株価と各日本株式との終値の変動比率の相関係数を算出すれば、日経平均と同じような値動きをするものと、逆に日経平均が下がるときに値上がりする株式の傾向を探ることができると思い、スクリプト化しました。

続きを読む

なぜImpalaではなくHiveを使い続けるのか

社内勉強会で表題の件について調査を行なったものをSpeaker Deckに公開したのでこちらにリンクを貼っておきます。

目次

  1. 調査動機
  2. おさらい(Hive)
  3. おさらい(Impala)
  4. HiveとImpalaの比較
  5. 一旦結論
  6. Clouderaの今後のHiveへの対応
  7. Hiveを高速化する方法について
  8. 結論と提案
  9. 参考資料