国産生成AIモデルTsuzumi の性能について
ChatGPT、Gemini、Claudeと様々なLLM、生成AIモデルが速いペースでリリースされ、いわゆる開発競争の状態になってますが、たまに日本国内の企業で開発されたモデルはどうなのかと言う話になります。 正直、データサイエンス、AIを日頃やっている人間の感覚では、国内で太刀打ちすることは不可能だろうと感じているのではないでしょうか。 BERTが主流だった時代は海外のモデルは日本語の理解力にま……
AI・データサイエンス
カテゴリ一 記事一覧
play store console 20人のクローズドテストをパスする
個人開発者がandroidアプリを作ってGoogle play console経由でPlayストアにアプリを公開するには、事前登録されたテスターで実施するPlayストアでのテストであるクローズドテストを完了する必要があります。 2023年以降、このクローズドテストは20人以上のテスターで14日以上実施することが強制されるようになりました。 これが、めちゃ大変で人望がない自分のような開発者が、テスタ……
AI業界の中の人が、AIバブル崩壊について考えてみた
最近、ドットコムバブルのようにAIへの期待感が減衰して経済が低迷するのではないかという話の中で、AIバブル崩壊という言葉を目にするようになりました。 2024年現在、AIバブル崩壊と言っているのは、主に経済や投資関連の人だと思いますが、データサイエンティストやエンジニアとして自らの手でAIと向き合ってきた自分からすると、AIバブルが崩壊することは当たり前のことで、今さら語ることではないと感じます。……
AIの社会実装の難しさ システム化できない理由
かれこれ5年近く、SIerでAIプロジェクトに関わってきましたが、自分がやってきた仕事でどれだけのビジネスメリットを生み出せたか振り返ると、かなり限定的なものになってしまいますね。 支援会社の立場で仕事をしているので、自分が構築したAIモデルはSI的に運用、既存システムの連携のために、システム化・アプリケーション化することで初めて、顧客であるユーザーの業務で使われるわけではですが、運用まで漕ぎつけ……
Flutterで開発しているAndroidアプリでOpenCVを使う方法
最近やたら投稿しているFlutterネタですが、個人的にだいぶ時間を溶かしたことがあったので、その備忘録です。 Flutterで開発しているAndroidアプリでOpenCVを使おうとしたんですが、方法が公式ドキュメントやQiitaで複数でてきて、しかも先に試した2つの方法が上手くいかなかったんですよね。 結論から言うと、Maven Centralからgradleでインポートすれば自分の環境ではう……
機械学習モデルをCoreMLでFlutterのiosアプリで動かす方法
PCでPythonを使って学習させたscikit-learnのランダムフォレストのモデルをFlutterで開発しているiosアプリでスマホ上で動かしたかったので、Appleが提供している機械学習ライブラリ？のCoreMLを使用することになりました。 CoreMLとは、sklearn、PyTorch、Tensolflowなどで構築された機械学習モデルをAppleのデバイスで動かすためのApple純正……
AIは投資を受けるための合言葉になってしまったことのデメリット
投資家、銀行、ファンドが行うAI分野への投資額は年々増加し、技術系の企業もそうでない企業もAI分野での成果と今後の投資を最近も声高に発表してますね。 つい最近もメタがAIへの投資の増額を発表しました。 地道にビジネスへのAI実装を進めている一データサイエンティストとして、そのお金で研究が進み技術が進歩することを期待してしまいますし、現時点でも投資があるから会社から給料が支払われるわけで感謝しないと……
AIはあくまで一要素技術。AIを主役にしてはいけない理由
これは、ここ数年間データサイエンティストとして働いた人間の見解ですが、「AIで課題を解決しよう」と考えた際に、主役としてAIありきでIT化を考えると失敗するリスクが高いと思っています。 特に、「我が社もAI導入、データ活用を！」のようなDXの文脈から生まれる動機により、はじめからAI中心の解決策を模索すると失敗する確率が格段に上がります。 ということで、なぜAIありきでビジネス課題を解決しようとす……
Jupiter notebook上でKotlinは安定して書けない、けど結構便利
先月からKotlinでAndroid アプリを開発することになり、PythnのPandasのコードをKotlin DatFrameに移植していますが、移植作業をJupiter notebook上で実施しています。 pandasは、Jupiter notebookで開発していますが、KotlinもJupiter notebook実行できるようにkanelが提供されているので、pandas版とKotl……
AIに仕事が奪われるという嘘 AIが人間の仕事を奪えない理由
かれこれ4年ほどデータサイエンティストとして働いていますが、やっと物事を俯瞰して見れるようになって（そう感じているだけかもしれない）、いろいろ思うことが増えたのでこの記事を書こうと思います。 AIに人間の仕事が奪われるという主張している人間は詐欺師かエアプ 今回言いたいことは以上です。 これだけだと記事にならないのでどういうことか書いていきます。 AIに解決させたい課題を整理し、導入効果と精度目標……
ChatGPTに日本語文の誤字脱字をチェックしてもらうプロンプト
このブログでもそうですが、昔から自分の文章は誤字脱字が多くて、「誤字脱字くん」とあだ名がついてしまったんですが、最近はChatGPTに誤字脱字をチェックしてもらえるのでだいぶ誤字脱字が減りました。 いままで、様々なNLP技術を利用した文章校正サービスを利用していましたが、やっぱりChatGPTのチェック能力はずば抜けていると思います。 いろんな誤字に対応しているし、文脈も見てくれるし、構成ルールを……
高Recallを求めるのは危険！？失敗するAI導入プロジェクトの特徴とは？
下っ端データサイエンティストがAIプロジェクトの現実を紹介するコーナーの第一回目でございます（今回で最後かもしれないけど）。 数年、支援会社で企業のAI導入プロジェクトにかかわってきましたが、うまく行ったプロジェクトよりもうまくいかなかったプロジェクトの方が多いですね。 と、いうより当初の予定通りすんなり導入までうまくいった例なんて自分がかかわったプロジェクトにはないですね。 単に、自分が仕事がよ……
上野佑馬著「漫画でわかる デジタルマーケティング×データ分析」を読んで
データ分析学習サイト？スタビジの運営を行っている上野佑馬が書かれた「漫画でわかる デジタルマーケティング×データ分析」を読んだので、その感想を書きます。 データサイエンティストの方が書いたデジタルマーケティングの本ということで、普段IT企業（SIer）のデータサイエンティスト？データエンジニア？としてデジタルマーケティングの支援（と自社のデジタルマーケティング）をし始めた自分には、デジタルマーケテ……
AIだって間違える ChatGPTが教えてくれたこと
ChatGPTの利用者が1億人を超えたそうですね。 自分も業務で毎日のように使っていますが、本当にあれは役に立ちます。特に技術系の知識は豊富に持っているのでコーディングしている際にライブラリの仕様を聞いたり、デバックしてもらったりいろいろ活躍してもらってます。 エンジニアリング以外にも文章の校閲ができたり、英訳ができたり。どういう文章に英訳してとか、文章のどういうところを修正してほしいとか、細かい……
第4次AIブームが始まった!? 第4次AIブームの特徴について考える
最近、第4次AIブームという言葉を少しづつですが、聞くようになりましあ。 2022年年末、ChatGPTが注目されましたが、2012年にILSVRCで深層学習モデルImageNetが圧勝して第3次AIブームが始まったように、ChatGPTの登場は第4次AIブームの始まりを意味しているのでは議論がSNSでされているところを目にしたんですよね。 第4次AIブームって気が早すぎじゃない？というか、第3次……
What is the diversity of data that is important in considering the number of data needed for AI model training?
One of the first questions that people who are considering using AI in their business to improve operational efficiency have is the number of data required for AI training data. For example, in order ……
A description of the module for elimination of Japanese stopwords (ja_stopword_remover)
I registered a program on PyPI to share with all of you a program for eliminating stopwords from a list of documents that have undergone morphological analysis, represented as a list. The words for ea……
[カンペ]データサイエンス検定リテラシーレベル合格に必要な知識まとめ
データサイエンス検定リテラシーレベル合格に向けて必要な単語知識をまとめました。テスト前の知識の確認、受験前の出題範囲の確認にお使いください。 あくまで、DS検定に合格するために必要な単語のまとめです。出題範囲でも概念や理論は省いています。もう一点、既に知っている単語を思い出すためにまとめているので、このページだけで初めて知った単語の意味を理解するのは不可能だと思います。わからないことは適宜調べてく……
Google Colaboratory proで割り当てられるGPUについて思ったこと
（ちゃんと検証してQiitaに載せようと思っていたネタですが、まともな検証ができなかったのでこっちのブログに載せます） google colaboratoryのpro版が日本でも契約できるようになりましたね。 (なんか最近5000円払うとpro+にアップデートできるみたい・・・) 別に手元にGPUを積んだ機械学習バリバリこなせるPCがあるよって人は興味ないと思いますが、自分みたいにノートPCしか使……
[Azure Learn]”Azure Machine Learning を使用して AI ソリューションを構築する”の備忘録
Azure Machine Learningの初心者がMSのAzure Learnにある”Azure Machine Learning を使用して AI ソリューションを構築する”実施したときのメモです。 正しさはあまり保証できませんが、英語交じりの内容を「Azure Machine Learning を使用して AI ソリューションを構築する」の内容を1時間程度でザッザっ……
[AI-900] Microsoft Azure AI Fundamentals trainingに参加して
※本記事はセミナー履修時にメモとして書いた記事なので、若干間違っている部分もありますし（若干じゃない）、誤字もめちゃ多いので下のAI-900の記事を参照していただきたいです。この記事はSEO的に残しているだけです。 AI-900における人工知能の定義 「人間の能力を模倣するソフトウェア」 データや経験に基づく意思決定→機械学習 異常なイベントの検知→異常検知 視覚的な入……
Lightweight GANで今年の干支の牛のイラストを生成したら失敗した話
あけましておめでとうございます！！今年もどうぞよろしくお願いします。 皆さんとどういう形で関われるのかわかりませんが、来年もたまにこのブログを読んでいっていただけたら嬉しいです。 牛のイラストを生成してみた 画像を生成できるニューラルネットワークであるGNAなるものが世の中に存在するのは昔から知ってましたが、 そういうものがあるって聞いていただけで、使ったこともないし、……
google colabsでtensorboardのProjectorを使う時のエラー対処
[PyTorchのチュートリル「VISUALIZING MODELS, DATA, AND TRAINING WITH TENSORBOARD」を実施中にgoogle colabsで下のコードを実行すると・・・ writer.add_embedding(features, metadata=class_labels, label_img=images.unsqueeze(1)) こん……
2020年7月のG検定を受けて感じたG検定の傾向と対策
2020年7月4日G検定を受験して1週間経とうとしていますが、当日のことを忘れてしまわないうちにまとめておこうと思います。 [2020 11月追記]合格してから振り返ってみると、高得点を取ることはかなり難しいテストですが、合格することはそれほど難易度が高くないと感じました。8割とるとなるとかなり膨大な範囲を勉強する必要がありますが、5割得点するだけ合格の可能性はあると思うので、戦略としては解く分野……