Sarashinaは実務で使える?SB Intuitionsの国産AIを11ケースで実機検証 - 生成AIビジネス活用研究所

Sarashinaは実務で使える?SB Intuitionsの国産AIを11ケースで実機検証

Sarashinaは実務で使える?SB Intuitionsの国産AIを11ケースで実機検証

  • 国産AI「Sarashina」の無償β版を、公開当日に11ケースで実機検証した
  • 文章・計算・翻訳・Pythonは、確認すればそのまま実務で使える
  • 凝ったHTMLとSVGは不具合や拒否があり、人が直す前提

10月13日、ソフトバンク子会社のSB Intuitionsが、国産生成AI「Sarashina」を試せる「Sarashinaサービス」の無償β版を公開しました。ITmedia NEWSによると、Googleアカウントでログインすれば、申し込みなしで使えます。

気になるのは「国産かどうか」ではなく、仕事に回せる精度なのかどうかです。公開当日に、メール、計算、翻訳、コード、HTML、SVGなど11ケースを実際に試しました。

結論を先に書きます。文章・計算・翻訳・Pythonは、確認すればそのまま実務に回せるレベルでした。一方で、凝ったHTMLとSVGは、ChatGPTやClaudeのような最先端のモデルと比べるとまだまだで、いまは人が直す前提です。ただ、日本語での実務であれば、一定使えると感じました。

11ケースの結果、仕事での使い方は4段階に分かれた

試した11ケースを、実務での使い方で4つに分けると次のとおりです。

  • そのまま使える:6ケース(メール、計算と論理、割り勘計算機のHTML、調べもの、Python、翻訳)
  • 直して使える:1ケース(条件つきの指示と要約)
  • まだ任せられない:3ケース(三目並べ、売上グラフ、SVG)
  • 未検証:1ケース(APIキー画面の確認のみ)
11ケースの結果を4区分で示した一覧。そのまま使える6、直して使える1、まだ任せられない3、未検証1

試したのは各1回ずつの探索的な検証で、再現性まではまだ測っていません。

APIの6モデルは、今回は触っていません。ここで言えるのは、チャット画面と翻訳画面での話です。なお、画面にモデル名の表示はありませんでした。

メール・計算・翻訳は、確認すればそのまま使える

まずは日常の仕事です。「納期が2日遅れることを、丁寧だけどくどくならないように詫びるメール」を頼むと、件名から結びまで揃った文面が数秒で出ました。

宛名・品名・新しい納期の欄を埋めれば送れる出来です。理由を一文添えると誠意が伝わるという助言まで付いていました。

納期遅延のお詫びメールをSarashinaに頼んだ回答画面。件名から結びまで揃った丁寧な文面が出ている

計算も確かめました。「3人で18,600円、1人は飲まないので飲み物代4,800円を除く」という割り勘では、飲まない人が4,600円、残る2人が7,000円ずつと正解です。計算過程も合っていました。

割り勘の計算を頼んだ回答画面。飲まないAさんが4,600円、BさんとCさんが7,000円ずつと正しく計算している

引っかけ問題も通りました。「バットとボールで1,100円、バットが1,000円高い」は50円、「毎日2倍に広がる睡蓮が48日で池を覆う。半分はいつか」は47日目と答えています。

バットとボール、睡蓮の2つの引っかけ問題に、50円と47日目と答えた回答画面

翻訳画面では、「お忙しいところ恐縮ですが」から始まるビジネスの丁寧文が、自然な英語になりました。ただし「一度持ち帰って社内で検討させてください」が疑問文になるなど、ニュアンスは少しずれることがあります。送る前に目で見る前提なら、実用になります。

丁寧な日本語のビジネス文を英語に訳した翻訳画面。自然な英文が出ている

調べものは出典つき、架空の質問には「見当たらない」

次に、事実の扱いです。AIの実務利用で一番怖いのは、もっともらしい作り話です。

そこで、実在する2つと架空の1つを混ぜて聞きました。『吾輩は猫である』の書き出しとSB Intuitionsは正確でした。「山田太郎教授が2019年に提唱した量子ピーナッツ理論」には、「該当する情報が見当たりません」と答え、作り話はしませんでした。

実在する2つと架空の量子ピーナッツ理論を聞いた回答画面。架空の理論は該当する情報が見当たらないと答えている

回答にはWeb検索の参考リンクも付きます。同日に出た「Sarashinaサービス」自体について聞くと、開始日、API 6モデルの名前、レート制限、利用データの扱い、提供終了時期が未定であることまで、ITmedia NEWSの記事とそろう説明をしました。

Sarashinaサービスの無償β版について聞いた回答画面。開始日と主な機能をWeb検索で説明している
同じ回答の下部。注意点と、公式発表を含む参考リンクが並んでいる

自社のサービスについての調べものは、ちゃんとできています。

コードは短ければ一発、凝ると崩れる!?

コードは、依頼の重さで結果が分かれました。

Pythonで「括弧が正しく対応しているかを判定する関数」と6つのテストを頼むと、1回で正しいコードが出ました。そのまま実行して、テストはすべて通っています。

括弧の対応を判定するPython関数とassertテストのコードが、チャットに出力された画面

割り勘計算機のHTMLも、1回で動きました。合計金額・人数・飲み物代・飲まない人数を入れると、飲む人7,000円、飲まない人4,600円と、先ほどの計算どおりに表示されます。

ここで、ひとつ注意があります。Sarashinaのチャットには、コードを実行したり、HTMLをプレビューしたりする機能がありません。コードブロックの横にあるのは「コピー」のボタンだけです。

出てきたHTMLは、自分でファイルに保存してブラウザで開かないと、動くかどうか分かりません。今回もコードをコピーして保存し、ブラウザで開いて確かめました。確認の手間が1段増えることは、先に知っておいてください。

割り勘計算機のHTMLコードの出力画面。コードブロックにはコピーボタンだけで、プレビューの機能は見当たらない
生成した割り勘計算機をブラウザで開いた画面。飲む人7,000円、飲まない人4,600円と表示されている

ところが、少し凝ると崩れました。三目並べのHTMLでは、コンピューターが「相手のリーチを防ぐ手」を打った直後に、空きマスが3つ残ったまま「引き分けです!」と表示して、ゲームが止まってしまいます。原因は、阻止の手を打ったあとに終了処理を呼んでいたことでした。

三目並べのHTML。空きマスが3つ残ったまま「引き分けです!」と表示され、ゲームが止まっている

売上と広告費の棒グラフは、もっと分かりやすく崩れました。売上の棒が枠の上に突き抜けて重なり、広告費の棒も1本だけ離れて描かれます。「売上-広告費」への切り替えボタンは、文言が変わるだけで、グラフは変わりませんでした。

売上と広告費の棒グラフ。売上の棒が枠の上に突き抜け、棒同士が重なって崩れている

一方で、月のボタンを押したときの数字は正確です。3月は売上180万円、広告費55万円、広告費率は約31%と出ました。計算は強く、画面づくりが弱いというのが、試した印象です。

3月のボタンを押した画面。売上180万円、広告費55万円、広告費率30.6%と正確に表示されている

SVGは3回断られた

SVGは、もっとはっきりしていました。

「ママチャリの部位図解をSVGで。フレーム、サドル、ハンドルなどに引き出し線つきのラベルを入れて」と頼むと、「SVGの作成は私の機能には含まれておりません」と断られました。言い方を変え、HTMLの中に書く形に変えても、3回続けて断られています。

自転車の部位図解のSVGを頼むと、SVGの作成は機能に含まれていないと断られた回答画面
HTML内のSVGに言い換えても、3回目も対応できないと断られた回答画面

一方で、新しいチャットで「赤い屋根の家と太陽の簡単なイラストを、SVGコードで」と頼むと、コードは出ます。つまり断る基準は一定していません。細かい指定が重なると断りやすいのかもしれませんが、これは仮説です。

出てきた絵の質も高くありません。太陽の光線は不自然で、窓が屋根に重なっていました。自転車の簡単なイラストは、車輪の高さがずれ、右の車輪が枠で切れて、自転車に見えませんでした。

家と太陽のSVGを描画した画面。太陽の光線が不自然で、窓が屋根に重なっている
自転車の簡単なSVGを描画した画面。車輪の高さがずれ、右の車輪が枠で切れている

実務で図解が要るときは、いまのところ別の手段を使うのが無難です。

指示の守り方には、癖がある

最後に、指示の守り方です。

「箇条書きでちょうど4つ、各25字以内、末尾は名詞止め、最後に5・7・5の俳句」と条件を重ねると、4つの箇条書きも、25字以内も、17音の俳句も守れました。守れなかったのは名詞止めだけで、「〜する」と動詞で終わっています。

条件つきの指示への回答画面。箇条書き4つと俳句は守れたが、末尾が名詞止めになっていない

要約では、構成と文字数は守ったものの、「重要な数字を落とさない」と頼んだのに、「新規顧客約1,800社」と「10名の増員」が抜けました。

要約の回答画面。構成と文字数は守れたが、新規顧客約1,800社と増員10名の数字が抜けている

どちらも、直し方は単純です。数字は「必ず入れて」と明示し、出てきた文章は目で見る。確認の手間が前提になる使い方です。

実務で使うなら、この線引き

試した結果から、いまの実務での線引きをまとめます。

  • 任せてよい:メールの下書き、翻訳、計算の検算、短いスクリプト、出典つきの下調べ
  • 直す前提:HTMLなどの画面づくり(プレビューが無いので、保存して開く一手間も要る)、条件の多い指示、要約
  • 任せない:SVGなどの図解

もうひとつ、精度より先に決めたい線があります。データの扱いです。

画面には「個人情報は入力しないでください。モデル改善のため、利用規約に明記されている通り、入出力データを学習に使用します」と出ています。ITmedia NEWSの記事では「利用データを活用する場合がある」という書き方でしたが、画面の表示は言い切りでした。

チャット画面の下部にある注意書き。入出力データを学習に使用しますと書かれている

つまり、顧客情報や社外秘の資料は入れられません。社外に出せる情報の仕事に限るのが、いまの現実的な使い方です。

次に確かめたいのは、APIの6モデルです。日本語のトークン数が米国モデルの半分で済むという点は、ITmedia NEWSが運営側の説明として報じているもので、今回は測っていません。実務の文書を通しで処理できるかとあわせて、続報で確かめます。

よくある質問(FAQ)

Q1. Sarashinaは実務で使えるレベルですか?

メール・計算・翻訳・Python・出典つきの調べものは、確認すればそのまま実務に使えます。凝ったHTMLのグラフやゲーム、SVGは、不具合や拒否が出て、いまは人が直す前提です。試したのは各1回ずつの探索的な検証です。

Q2. SarashinaのチャットでHTMLをプレビューできますか?

できません。コードブロックにあるのは「コピー」ボタンだけで、実行やプレビューの機能は見当たりませんでした。出てきたHTMLは、保存してブラウザで開いて確かめます。

Q3. Sarashinaに入れてはいけない情報は何ですか?

個人情報、顧客情報、社外秘の資料です。チャット画面に「入出力データを学習に使用します」と書かれているためです。社外に出せる情報の仕事に限る使い方が現実的です。


AIを徹底的に使いこなすためだけのコミュニティ「フロンティア・リーダーズ」。新しいツールを、使い倒して仕事に組み込むところまで:https://frontier-leaders.vercel.app/

2時間で、AI活用術を実践のハンズオンで学べます(過去回のアーカイブ):https://handson.workstyle-evolution.co.jp/

YouTube『いけともch』:https://www.youtube.com/@iketomo-ch

■合わせて読みたい
■関連記事

公式LINEで最新ニュースをゲット

LINE登録の無料特典
LINE登録の無料特典
icon

最新のAIニュースを
毎週お届け

icon

生成AIの業務別の
ビジネス活用シーン

がわかるAIチャット

icon

過去のAIニュースから
事実を確認できる
何でもAI相談チャット

icon

ニュース動画の
アーカイブ

ページトップへ