모의고사 3

Speech recognition은 audio를 text로 변환합니다. 시나리오는 request IP와 user-agent metadata를 다루므로 suspicious traffic detection을 해결하지 못합니다. 주의: video streaming이라는 배경 때문에 media AI로 착각할 수 있지만, 실제 data는 API traffic metadata입니다.

Named entity recognition은 text에서 사람, 장소, 조직 같은 entity를 추출합니다. request source를 baseline behavior와 비교하는 작업이 아닙니다. 주의: user-agent가 문자열이라 그럴듯해 보이지만, 자연어 entity extraction이 아니라 behavior detection입니다.

Fraud forecasting은 future fraud volume이나 trend를 예측하는 작업입니다. 이 문제는 각 current request source를 baseline과 비교해 즉시 unusual behavior를 flag해야 합니다. 주의: security와 fraud 모두 risk와 관련 있지만, forecasting은 per-request anomaly scoring이 아닙니다.

Fine-tuning은 model behavior를 조정하거나 example 의존도를 줄일 수 있지만, 하루 한 번 호출되고 품질이 이미 만족스러운 workload에는 training, evaluation, governance overhead가 과합니다. 주의: few-shot example을 대체할 방법처럼 보이지만, 문제는 current performance를 유지하면서 가장 단순하게 cost를 줄이는 방법을 묻습니다.

prompt token을 늘리면 model에 더 많은 input을 보내게 되어 보통 cost가 증가합니다. 주의: example을 늘리면 quality가 좋아질 수 있지만, 현재 quality는 이미 만족스럽고 목표는 cost reduction입니다.

Provisioned Throughput은 reserved model capacity와 predictable throughput이 필요한 workload에 적합합니다. 하루 한 번의 scheduled invocation에는 정당화되기 어렵습니다. 주의: provisioned capacity가 할인처럼 들릴 수 있지만, very low-volume usage에서는 on-demand inference보다 비효율적일 수 있습니다.

AWS Config는 AWS resource configuration을 rule과 compliance requirement에 따라 평가합니다. PySpark code를 생성하거나 Glue job 작성 과정을 guide하지 않습니다. 주의: AWS governance service이지만, 시나리오는 configuration auditing이 아니라 developer assistance입니다.

Amazon Personalize는 user/item interaction data로 recommendation experience를 만드는 service입니다. AWS Glue ETL code 작성과 관련이 없습니다. 주의: AI service이기는 하지만 recommendation problem을 해결할 뿐 developer productivity 문제를 해결하지 않습니다.

Amazon Comprehend는 entity, sentiment, key phrase 같은 NLP insight를 제공합니다. Glue job을 위한 AWS console coding guidance를 제공하지 않습니다. 주의: CSV 처리에 text가 포함될 수 있지만, 요구사항은 NLP 분석이 아니라 ETL job authoring입니다.

Amazon Inspector는 software vulnerability와 unintended network exposure를 찾는 service입니다. loan recommendation의 fairness metric이나 SHAP explanation을 계산하지 않습니다. 주의: security와 compliance라는 단어가 banking에 관련 있어 보이지만, 요구사항은 responsible AI explainability입니다.

Amazon Macie는 Amazon S3의 sensitive data를 discover/classify하는 데 도움을 줍니다. privacy governance에는 도움될 수 있지만 prediction explainability나 demographic bias metric을 제공하지 않습니다. 주의: training data 보호는 중요하지만 transparency requirement를 충족하지 않습니다.

Amazon Rekognition은 image/video용 computer vision service입니다. text와 structured loan feature에 custom label을 추가해도 SHAP attribution을 제공하지 않습니다. 주의: 더 많은 labeled data가 일부 model에 도움이 될 수 있지만, 문제는 audit-ready explanation artifact를 묻고 있습니다.

Retraining은 unsafe output을 줄일 수는 있지만, image별 deterministic blocking을 제공하지 않고 90% threshold도 구현하지 못하며 base model을 재훈련하지 말라는 요구사항에도 어긋납니다. 주의: Model improvement는 proactive해 보이지만 compliance는 모든 output에 대한 live enforcement를 요구합니다.

일회성 validation은 release readiness 근거가 될 수 있지만, 이후 생성되거나 retrieved되는 image를 inspect할 수 없고 inference-time decision을 매번 logging할 수도 없습니다. 주의: Holdout testing은 governance evidence로 유용하지만 runtime safety control은 아닙니다.

User feedback은 reactive하며 나중에 system 개선에 도움을 줄 수 있지만, moderation confidence가 높은 unsafe image가 즉시 표시되는 것을 막지 못합니다. 주의: Feedback loop는 continuous improvement에 도움이 되지만 policy는 즉시 blocking과 logging을 요구합니다.

Auto scaling inference endpoints는 chat volume과 latency 처리에 도움이 되지만, 직접적인 HIPAA 또는 SOC 2 compliance evidence라기보다 performance 및 availability 기능입니다. 주의: p95 latency clue 때문에 autoscaling이 관련 있어 보이지만, 문제는 compliance를 위해 무엇을 입증할 수 있는지 묻습니다.

Cost optimization은 운영에는 중요하지만 healthcare data 보호를 위한 주요 HIPAA 또는 SOC 2 control category는 아닙니다. 주의: Governance에 cost management가 포함될 수는 있지만, compliance audit은 먼저 security, privacy, monitoring, control evidence에 초점을 둡니다.

Loosely coupled microservices는 maintainability와 resilience를 높일 수 있지만 architecture style 자체가 data protection이나 security monitoring을 입증하지는 않습니다. 주의: resilient design은 availability에는 도움이 되지만 encryption 및 threat detection보다 간접적입니다.

모델을 바꿔도 assistant가 private hospital PDF, 야간 refresh, citation에 자동으로 접근하지는 못합니다. 주의: 다른 foundation model은 answer quality나 latency를 바꿀 수 있지만, 빠진 data grounding 문제를 해결하지 않습니다.

temperature를 낮추면 generation의 무작위성은 줄지만 S3에서 최신 사실을 retrieve하거나 citation을 제공할 수는 없습니다. 주의: variability와 일부 hallucination을 줄일 수는 있지만, 이는 inference setting이지 knowledge integration 기능이 아닙니다.

Model invocation logging은 audit와 troubleshooting에 도움이 되지만 S3 문서를 ingest하거나 knowledge corpus를 refresh하거나 응답에 source를 cite하지 않습니다. 주의: Logging은 governance에 유용하지만, scenario가 묻는 것은 factual grounding과 retrieval입니다.

RAG는 generative AI answer를 위해 external context를 retrieve하지만, demographic parity difference 같은 tabular fairness metric을 계산하지 않습니다. 주의: RAG는 흔한 AI architecture pattern이지만, 시나리오는 training 전 dataset bias에 관한 것입니다.

production model monitoring은 model이 deployed된 후 적용됩니다. 이 문제는 어떤 model도 training하기 전에 수행할 check를 묻습니다. 주의: monitoring은 responsible ML의 일부이지만 lifecycle phase가 맞지 않습니다.

model documentation은 intended use, data, metric, limitation을 기록하지만, dataset에서 bias metric을 직접 실행하지는 않습니다. 주의: documentation은 governance를 지원하지만, 요구사항은 analytical bias check입니다.

AUC는 threshold 전반에서 classifier가 positive class와 negative class를 얼마나 잘 구분하는지 평가합니다. 두 free-form summary의 semantic similarity를 비교하지 않습니다. 주의: AUC는 익숙한 accuracy metric이지만 summarization이 아니라 classification에 속합니다.

F1은 label, span, overlap-style comparison에서 precision과 recall의 균형을 보지만, 문제는 reference summary와의 semantic similarity를 구체적으로 묻습니다. 주의: F1은 일반적인 accuracy score처럼 들리지만, meaning-preserving abstractive summary에 대해 제시된 metric 중 최선은 아닙니다.

Real world knowledge scoring은 factual knowledge나 grounding behavior를 대상으로 하며, 제공된 reference summary와의 semantic similarity를 측정하지 않습니다. 주의: summary에서는 factuality도 중요하지만, 문제의 evaluation goal은 reference와의 semantic similarity입니다.