KATOエンジニヤリング開発日誌

「アウトプット無きエンジニアにインプットもチャンスも無い」の精神で書いています

ConoHa APIをつかって「お知らせ」を定期的に確認する - 実装編 -

前回は使用するConoHa APIの詳細について調査しました。 www.kato-eng.info 今回は実際にプログラムの内容について解説していきます。

ConoHa APIをつかって「お知らせ」を定期的に確認する - API 調査編 -

以前にもブログに書いた通り、株式分析基盤はConoHa VPS上で稼働しています。 www.kato-eng.info VPSのような他社リソースを使用する場合、メンテナンス情報や障害情報を定期的に確認する必要がありますが毎回ConoHaにログインして「お知らせ」を確認するの…

日経平均と各日本株式との相関係数を算出するスクリプトを作成した

相関係数とは2つのデータ間にどれくらいの関係性があるかを示す指標として使われます。 KABU+では前日終値からの変動比率が取得できるので、日経平均株価と各日本株式との終値の変動比率の相関係数を算出すれば、日経平均と同じような値動きをするものと、逆…

なぜImpalaではなくHiveを使い続けるのか

社内勉強会で表題の件について調査を行なったものをSpeaker Deckに公開したのでこちらにリンクを貼っておきます。 目次 調査動機 おさらい(Hive) おさらい(Impala) HiveとImpalaの比較 一旦結論 Clouderaの今後のHiveへの対応 Hiveを高速化する方法につ…

ディープラーニング検定E資格の勉強記録

現在開発を行なっている機械学習を用いた株式の分析システムでデータの収集や統計指標の計算を行なってきましたが、肝心の機械学習で株式の分析を行うための知見が足りていないことを実感してきたので勉強ついでに資格をとってしまおうと思いました。 日本デ…

Pythonで日本株の月次平均収益率を算出するスクリプトを開発した

これまでの開発でKABU+から様々なデータを取得できるようになったので、そろそろデータの活用をしたいと思い適当な統計指標を探していたところ、下記の本に記載されている「月次平均収益率」が簡単で有意義な統計指標だと感じました。 完全独習 統計学入門作…

Pythonスクリプトのリファクタリングを実施した

前回の記事でお伝えした通り、開発状況をGitHubに公開するようにしましたが、ソースコードは動けばいいというような感じでコーディングしていたので見映えがあまりよくありませんでした。 今回は既に運用している、「KABU+からCSVファイルを日次でダウンロー…

システムトレード開発基盤の開発状況をGitHubに公開します

現在システムトレード開発基盤を構築していますが、今まではスクリプトにデータベースアクセスユーザのパスワードや、接続している外部サイトのID・パスワードをスクリプトにベタ書きしていたためGitHubに公開することができていませんでした。 上記のような…

Pythonスクリプトの成否をSlackで通知する

これまでPythonで作成したスクリプトにロガーを仕込んでいましたが、毎回sshでサーバに接続して確認するのが億劫だったのでログと同時にSlack通知するようにしました。

KABU+で取得したデータから日経平均株価の回帰分析を行う

前回まででKABU+から取得したCSVファイルをもとにデータベースへのインポートまでを行いました。 今回からはインターネットから取得したデータを利用して実際に株価の分析を行ってみました。 www.kato-eng.info www.kato-eng.info www.kato-eng.info

KABU+で取得したCSVファイルをデータベースにインポートする

前々回KABU+で株価データのCSVファイルを取得しましたが、CSVファイルのままだとデータの加工や集計に不便なのでデータベースを作成することにしました。 www.kato-eng.info 現在CSVファイルの取得はConoHaのVPSを利用しています。VPS上にデータベースソフト…

KABU+で取得したCSVファイルを定期的に圧縮する

前回KABU+で株価データのCSVファイルを取得しましたが、そのまま保管しているとサーバーのストレージ容量を圧迫してしまうので年月ごとにzip形式で圧縮するスクリプトを作成しました。 www.kato-eng.info

KABU+で過去の株価データを全て取得する

株のシステムトレードを行うために株価データを取得する方法を探していたところ「KABU+」というサイトが良さげでした。 kabu.plus こちらのサイトは有料サービスですがStandardプランで月額1080円で安定して株価や投資指標のデータを取得できるのが良いです…

2018年7~8月 英語学習結果14.15ヶ月目

7月と8月は引っ越しによりインターネットが使えなかったため英語学習の記録が残せなかったため、使用した教材だけを記録していきます。 ※前回の記録 www.kato-eng.info

WEB+DB PRESS の速習Spring Bootを読んだ感想

今月発売されたWEB+DB PRESS Vol.106にSpring Bootの特集が掲載されていました。現在、業務でSpring Frameworkを使用しているので後学のために開発環境を構築して動作させてみることにしました。本誌でも言及されているがひとつのフレームワークをじっくり学…

エンジニアリング組織論への招待 読了

3月に転職しましたが、これまでのSESでのプロジェクト開発型組織から自社サービスのプロダクト開発型の組織になったので1つのチームで長期的に活動することについて考えてみようと思い、以前から興味のあった「エンジニアリング組織論への招待」を読んでみま…

2018年6月 英語学習結果13ヶ月目

先月に引き続き英語の学習を行いましたので6月の記録を残したいと思います。 www.kato-eng.info

スッキリわかるJava入門 実践編 読了

最近仕事でJavaを本格的に使うようになりました。IT業界に入る前にOracleのJavaの資格(Java SE 7 Programmer II)を持っているのでJavaの文法は理解してたが、Javaの開発で必要な知識が足りないと思い、表題の本を読むことにした。 スッキリわかる Java入門…

2018年5月 英語学習結果12ヶ月目

先月に引き続き英語の学習を行いましたので5月の記録を残したいと思います。 www.kato-eng.info

whileプログラムでif-then文を展開する

現在技術評論社から出版されている「チューリングの考えるキカイ」を読んでいます。 チューリングの考えるキカイ ~人工知能の父に学ぶコンピュータ・サイエンスの基礎作者: 阿部彩芽,笠井琢美出版社/メーカー: 技術評論社発売日: 2018/04/28メディア: 単行本…

マイニングパソコンの夏対策を考える

今年の1月から仮想通貨のマイニングを行なっていますが、夏が近づいてきたためマイニングPCの暑さ対策を考える必要が出てきました。 www.kato-eng.info 今考えているのは温度センサーを利用して、ある一定の温度以上になったら扇風機を回すというようなこと…

2018年4月 英語学習結果11ヶ月目

先月に引き続き英語の学習を行いましたので4月の記録を残したいと思います。 www.kato-eng.info

【未完成】PackstackでオールインワンのOpenStackを構築する

2018年2月に発売された、WEB+DB PRESS Vol.103の特集「今こそ始めるOpenStack」で使用するオールインワン環境OpenStackを構築しようとして断念しました。 OpenStackには代表的な構築方法として「DevStack」と「Packstack」、「OpenStack-Helm」の3種類がある…

CodeIQの「汚いコードを綺麗にしてして」解答

CodeIQの「汚いコードを綺麗にしてして」を解いたので、私が作成したコードを晒します。 4月25日の1時に回答締切なので、ネタバレを避けるためそれ以降に投稿しています。 www.kato-eng.info

2018年3月 英語学習結果10ヶ月目

先月に引き続き英語の学習を行いましたので3月の記録を残したいと思います。 www.kato-eng.info

apkファイルからAndroidアプリを解析する準備

前回は脆弱性を探すためのツールとしてBurp Suiteのダウンロードと設定を行いました。 www.kato-eng.info 今回はAndroidアプリを解析する手法としてapkファイルからJavaコードを復元するツールの準備を行いました。

Burp Suiteを利用して通信内容の解析と改ざんを行う準備

前回で脆弱性攻撃を体験するための環境を準備しました。 www.kato-eng.info 今回は脆弱性を探すためのツールを準備します。

WEB+DB PRESS特集 脆弱性攻撃体験用の環境を構築する

2018年2月に発売された、WEB+DB PRESS Vol.103の特集「体験!脆弱性の見つけ方&ふさぎ方」の演習で使用するアプリケーションの環境を構築した。 gihyo.jp 本書ではDocker、もしくはVirtualBoxで環境構築する方法が説明されているが、今回はDockerに慣れるこ…

2018年2月 英語学習結果 9ヶ月目

先月に引き続き英語の学習を行いましたので2月の記録を残したいと思います。 www.kato-eng.info

Software-Design 2018年2月号のPrometheus 2.0の記事 2

前回に引き続きサーバ監視ソフトであるPrometheusを触っていきます。 www.kato-eng.info