Definition:
Ein Token ist eine kleine Verarbeitungseinheit, mit der Sprachmodelle Texte intern zerlegen. Ein Token kann ein Wort, ein Wortteil, ein Zeichen oder eine Kombination daraus sein.
Ein Token ist eine kleine Verarbeitungseinheit, mit der Sprachmodelle Texte intern zerlegen. Ein Token kann ein Wort, ein Wortteil, ein Zeichen oder eine Kombination daraus sein.