Pembantu Pelanggan GenAI Tanpa Pelayan Asli AWS

Pelanggan

Penyedia perkhidmatan kewangan yang berpangkalan di AS yang menyokong perniagaan kecil dan sederhana (PKS), perlu memodenkan model perkhidmatan pelanggannya dengan menggunakan pembantu dipacu AI berskala yang memberikan respons masa nyata dan mengurangkan kelewatan onboarding.

Cabaran Perniagaan

• Pendekatan Penerapan Penuaan: FirstHope telah bereksperimen dengan LLM sumber terbuka yang dihoskan pada infrastruktur urus sendiri, tetapi persekitaran adalah mahal, tegar dan sukar untuk skala untuk trafik SMB yang tidak dapat diramalkan.

• Masa Lambat ke Pasaran: Penggunaan chatbot AI memerlukan 3+ bulan, mewujudkan kesesakan untuk pelanggan SMB yang memerlukan keupayaan onboarding dan layan diri yang lebih pantas.

• Jurang Keselamatan & Pematuhan: Kekurangan IAM gred perusahaan, perlindungan data dan kesediaan audit menghalang penggunaan dalam industri terkawal.

• Overhed Operasi Tinggi: Pengurusan infra manual, penskalaan dan pemantauan menggunakan sumber IT yang ketara.

• Fleksibiliti Terhad: Penggunaan tegar tidak membenarkan penyepaduan pantas model LLM yang lebih baharu atau peningkatan berasaskan SaaS.

Pendekatan

Trianz mengetuai seni bina semula asli awan penuh menggunakan perkhidmatan tanpa pelayan AWS untuk mengurangkan kerumitan infra dan membolehkan bantuan pelanggan dipacu AI yang selamat, patuh dan berskala.

• Reka Bentuk Semula Tanpa Pelayan: Menggantikan infra urus sendiri dengan Amazon Bedrock (Anthropic Claude) untuk respons generatif dipacu LLM, menghapuskan overhed infra model.

• Pertambahan Pencapaian Masa Nyata: Amazon Kendra Bersepadu untuk mendapatkan semula pengetahuan, memastikan ketepatan dan respons kontekstual untuk pertanyaan SMB.

• Lapisan Pembantu Perniagaan: Memanfaatkan Perniagaan Amazon Q untuk aliran kerja prasepadu dan penyesuaian domain.

• Pengurusan Sesi Boleh Skala: AWS AppSync dan DynamoDB digunakan untuk mengekalkan sejarah sembang, metadata dan keadaan sesi merentas pelanggan.

• Orkestrasi Didorong Peristiwa: Menggunakan AWS Lambda untuk mengendalikan orkestrasi, penjanaan dipertingkatkan semula (RAG) dan logik penskalaan automatik.

• Penghantaran Bahagian Hadapan Selamat: Gabungan Amazon CloudFront, Amplify dan Cognito untuk bahagian hadapan yang diedarkan secara global dengan pengesahan dan pengasingan bersekutu.

• Pemantauan & Tadbir Urus: CloudWatch dan QuickSight didayakan untuk pemantauan kependaman, papan pemuka SLA dan pengoptimuman dipacu analitis.

• Keselamatan Perusahaan: Menggunakan AWS WAF dan Shield untuk perlindungan DDoS dan pengasingan berasaskan IAM merentas penyewa pelanggan.

Komponen Teknologi

• Perkhidmatan AWS Teras: Amazon Bedrock, Kendra, Q Business, DynamoDB, AppSync, Lambda, CloudFront, Cognito, QuickSight, WAF, Shield.

• Alat Infrastruktur: IAM, CloudWatch, penggunaan berbilang AZ.

Kesan Transformasi

• 3x Penerapan Lebih Pantas: Pelancaran chatbot onboarding dikurangkan daripada 3 bulan kepada 2 minggu.

• Peningkatan Produktiviti 90%: Respons AI yang lebih pantas melalui pengambilan masa nyata pengalaman pengguna yang dipertingkatkan.

• Kebolehpercayaan Hampir-Sempurna: 98% masa beroperasi dicapai dengan seni bina berbilang AZ.

• 30% TCO Lebih Rendah: Kos 3 tahun dikurangkan dengan menggantikan infra on-prem dengan tanpa pelayan AWS.

• Pematuhan Sedia Audit: Lulus audit industri tanpa pemulihan.