Techniques for cognitive analysis for directed control transfer with autonomous vehicles are described. In-vehicle sensors are used to collect cognitive state data for an individual within a vehicle which has an autonomous mode of operation. The cognitive state data includes infrared, facial, audio, or biosensor data. One or more processors analyze the cognitive state data collected from the individual to produce cognitive state information. The cognitive state information includes a subset or summary of cognitive state data, or an analysis of the cognitive state data. The individual is scored based on the cognitive state information to produce a cognitive scoring metric. A state of operation is determined for the vehicle. A condition of the individual is evaluated based on the cognitive scoring metric. Control is transferred between the vehicle and the individual based on the state of operation of the vehicle and the condition of the individual.
B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
Techniques for machine learning based on neural network training with bias mitigation are disclosed. Facial images for a neural network configuration and a neural network training dataset are obtained. The training dataset is associated with the neural network configuration. The facial images are partitioned into multiple subgroups, wherein the subgroups represent demographics with potential for biased training. A multifactor key performance indicator (KPI) is calculated per image. The calculating is based on analyzing performance of two or more image classifier models. The neural network configuration and the training dataset are promoted to a production neural network, wherein the promoting is based on the KPI. The KPI identifies bias in the training dataset. Promotion of the neural network configuration and the neural network training dataset is based on identified bias. Identified bias precludes promotion to the production neural network, while identified non-bias allows promotion to the production neural network.
Disclosed techniques include neural network architecture using encoder-decoder models. A facial image is obtained for processing on a neural network. The facial image includes unpaired facial image attributes. The facial image is processed through a first encoder-decoder pair and a second encoder-decoder pair. The first encoder-decoder pair decomposes a first image attribute subspace. The second encoder-decoder pair decomposes a second image attribute subspace. The first encoder-decoder pair outputs a transformation mask based on the first image attribute subspace. The second encoder-decoder pair outputs a second image transformation mask based on the second image attribute subspace. The first image transformation mask and the second image transformation mask are concatenated to enable downstream processing. The concatenated transformation masks are processed on a third encoder-decoder pair and a resulting image is output. The resulting image eliminates a paired training data requirement.
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
4.
COGNITIVE STATE VEHICLE NAVIGATION BASED ON IMAGE PROCESSING AND MODES
Image-based analysis techniques are used for cognitive state vehicle navigation, including an autonomous or a semi-autonomous vehicle. Images including facial data of a vehicle occupant are obtained using an in-vehicle imaging device. The vehicle occupant can be an operator of or a passenger within the vehicle. A first computing device is used to analyze the images to determine occupant cognitive state data. The analysis can occur at various times along a vehicle travel route. The cognitive state data is mapped to location data along the vehicle travel route. Information about the vehicle travel route is updated based on the cognitive state data and mode data for the vehicle. The updated information is provided for vehicle control. The mode data is configurable based on a mode setting. The mode data is weighted based on additional information.
B60W 50/00 - COMMANDE CONJUGUÉE DE PLUSIEURS SOUS-ENSEMBLES D'UN VÉHICULE, DE FONCTION OU DE TYPE DIFFÉRENTS; SYSTÈMES DE COMMANDE SPÉCIALEMENT ADAPTÉS AUX VÉHICULES HYBRIDES; SYSTÈMES D'AIDE À LA CONDUITE DE VÉHICULES ROUTIERS, NON LIÉS À LA COMMANDE D'UN SOUS-ENSEMBLE PARTICULIER - Détails des systèmes d'aide à la conduite des véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G07C 5/02 - Enregistrement ou indication du temps de circulation, de fonctionnement, d'arrêt ou d'attente uniquement
5.
VEHICLE MANIPULATION WITH CONVOLUTIONAL IMAGE PROCESSING
Disclosed embodiments provide for vehicle manipulation with convolutional image processing. The convolutional image processing uses a multilayered analysis engine. A plurality of images is obtained using an imaging device within a first vehicle. A multilayered analysis engine is trained using the plurality of images. The multilayered analysis engine includes multiple layers that include convolutional layers and hidden layers. The evaluating provides a cognitive state analysis. Further images are evaluated using the multilayered analysis engine. The further images include facial image data from one or more persons present in a second vehicle. Manipulation data is provided to the second vehicle based on the evaluating the further images. An additional plurality of images of one or more occupants of one or more additional vehicles is obtained. The additional images provide opted-in, crowdsourced image training. The crowdsourced image training enables retraining the multilayered analysis engine.
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
6.
Synthetic data for neural network training using vectors
Machine learning is performed using synthetic data for neural network training using vectors. Facial images are obtained for a neural network training dataset. Facial elements from the facial images are encoded into vector representations of the facial elements. A generative adversarial network (GAN) generator is trained to provide one or more synthetic vectors based on the one or more vector representations, wherein the one or more synthetic vectors enable avoidance of discriminator detection in the GAN. The training a GAN further comprises determining a generator accuracy using the discriminator. The generator accuracy can enable a classifier, where the classifier comprises a multi-layer perceptron. Additional synthetic vectors are generated in the GAN, wherein the additional synthetic vectors avoid discriminator detection. A machine learning neural network is trained using the additional synthetic vectors. The training a machine learning neural network further includes using the one or more synthetic vectors.
G06V 10/774 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant l’intégration et la réduction de données, p.ex. analyse en composantes principales [PCA] ou analyse en composantes indépendantes [ ICA] ou cartes auto-organisatrices [SOM]; Séparation aveugle de source méthodes de Bootstrap, p.ex. "bagging” ou “boosting”
G06F 18/214 - Génération de motifs d'entraînement; Procédés de Bootstrapping, p.ex. ”bagging” ou ”boosting”
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
Disclosed techniques include in-vehicle drowsiness analysis using blink-rate. Video of an individual is obtained within a vehicle using an image capture device. The video is analyzed using one or more processors to detect a blink event based on a classifier for a blink that was determined. Using temporal analysis, the blink event is determined by identifying that eyes of the individual are closed for a frame in the video. Using the blink event and one or more other blink events, blink-rate information is determined using the one or more processors. Based on the blink-rate information, a drowsiness metric is calculated using the one or more processors. The vehicle is manipulated based on the drowsiness metric. A blink duration of the individual for the blink event is evaluated. The blink-rate information is compensated. The compensating is based on demographic information for the individual.
B60W 30/00 - Fonctions des systèmes d'aide à la conduite des véhicules routiers non liées à la commande d'un sous-ensemble particulier, p.ex. de systèmes comportant la commande conjuguée de plusieurs sous-ensembles du véhicule
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
Deep learning in situ retraining uses deep learning nodes to provide a human perception state on a user device. A plurality of images including facial data is obtained for human perception state analysis. A server device trains a set of weights on a set of layers for deep learning that implements the analysis, where the training is performed with a first set of training data. A subset of weights is deployed on deep learning nodes on a user device, where the deploying enables at least part of the human perception state analysis. An additional set of weights is retrained on the user device, where the additional set of weights is trained using a second set of training data. A human perception state based on the subset of the set of weights, the additional set of weights, and input images obtained by the user device is provided on the user device.
Vehicular in-cabin facial tracking is performed using machine learning. In-cabin sensor data of a vehicle interior is collected. The in-cabin sensor data includes images of the vehicle interior. A set of seating locations for the vehicle interior is determined. The set is based on the images. The set of seating locations is scanned for performing facial detection for each of the seating locations using a facial detection model. A view of a detected face is manipulated. The manipulation is based on a geometry of the vehicle interior. Cognitive state data of the detected face is analyzed. The cognitive state data analysis is based on additional images of the detected face. The cognitive state data analysis uses the view that was manipulated. The cognitive state data analysis is promoted to a using application. The using application provides vehicle manipulation information to the vehicle. The manipulation information is for an autonomous vehicle.
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06T 3/00 - Transformation géométrique de l'image dans le plan de l'image
G06T 7/73 - Détermination de la position ou de l'orientation des objets ou des caméras utilisant des procédés basés sur les caractéristiques
G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
Vehicle interior object management uses analysis for detection of an object within a vehicle. The object can include a cell phone, a computing device, a briefcase, a wallet, a purse, or luggage. The object can include a child or a pet. A distance between an occupant and the object can be calculated. The object can be within a reachable distance of the occupant. Two or more images of a vehicle interior are collected using imaging devices within the vehicle. The images are analyzed to detect an object within the vehicle. The object is classified. A level of interaction is estimated between an occupant of the vehicle and the object within the vehicle. The object can be determined to have been left behind once the occupant leaves the vehicle. A control element of the vehicle is changed based on the classifying and the level of interaction.
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
11.
Remote computing analysis for cognitive state data metrics
Remote computing analysis for cognitive state data metrics is performed. Cognitive state data from a plurality of people is collected as they interact with a rendering. The cognitive state data includes video facial data collected on one or more local devices from the plurality of people. Information is uploaded to a remote server. The information includes the cognitive state data. A facial expression metric based on a plurality of image classifiers is calculated for each individual within the plurality of people. Cognitive state information is generated for each individual, based on the facial expression metric for each individual. The cognitive state information for each individual within the plurality of people who interacted with the rendering is aggregated. The aggregation is based on the facial expression metric for each individual. The cognitive state information that was aggregated is displayed on at least one of the one or more local devices.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
G16H 40/67 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement à distance
G16H 40/63 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement local
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
Distributed analysis for cognitive state metrics is performed. Data for an individual is captured into a computing device. The data provides information for evaluating a cognitive state of the individual. The data for the individual is uploaded to a web server. A cognitive state metric for the individual is calculated. The cognitive state metric is based on the data that was uploaded. Analysis from the web server is received by the computing device. The analysis is based on the data for the individual and the cognitive state metric for the individual. An output that describes a cognitive state of the individual is rendered at the computing device. The output is based on the analysis that was received. The cognitive states of other individuals are correlated to the cognitive state of the individual. Other sources of information are aggregated. The information is used to analyze the cognitive state of the individual.
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
H04L 29/08 - Procédure de commande de la transmission, p.ex. procédure de commande du niveau de la liaison
G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p.ex. l’édition
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
Techniques for robotic control using profiles are disclosed. Cognitive state data for an individual is obtained. A cognitive state profile for the individual is learned using the cognitive state data that was obtained. Further cognitive state data for the individual is collected. The further cognitive state data is compared with the cognitive state profile. Stimuli are provided by a robot to the individual based on the comparing. The robot can be a smart toy. The cognitive state data can include facial image data for the individual. The further cognitive state data can include audio data for the individual. The audio data can be voice data. The voice data augments the cognitive state data. Cognitive state data for the individual is obtained using another robot. The cognitive state profile is updated based on input from either of the robots.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61M 21/00 - Autres dispositifs ou méthodes pour amener un changement dans l'état de conscience; Dispositifs pour provoquer ou arrêter le sommeil par des moyens mécaniques, optiques ou acoustiques, p.ex. pour mettre en état d'hypnose
G10L 17/00 - Identification ou vérification du locuteur
Vehicular in-cabin sensing is performed using machine learning. In-cabin sensor data of a vehicle interior is collected. The in-cabin sensor data includes images of the vehicle interior. An occupant is detected within the vehicle interior. The detecting is based on identifying an upper torso of the occupant, using the in-cabin sensor data. The imaging is accomplished using a plurality of imaging devices within a vehicle interior. The occupant is located within the vehicle interior, based on the in-cabin sensor data. An additional occupant within the vehicle interior is detected. A human perception metric for the occupant is analyzed, based on the in-cabin sensor data. The detecting, the locating, and/or the analyzing are performed using machine learning. The human perception metric is promoted to a using application. The human perception metric includes a mood for the occupant and a mood for the vehicle. The promoting includes input to an autonomous vehicle.
G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G06V 40/10 - Corps d’êtres humains ou d’animaux, p.ex. occupants de véhicules automobiles ou piétons; Parties du corps, p.ex. mains
G06V 40/20 - Mouvements ou comportement, p.ex. reconnaissance des gestes
G06F 18/214 - Génération de motifs d'entraînement; Procédés de Bootstrapping, p.ex. ”bagging” ou ”boosting”
G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
15.
Media manipulation using cognitive state metric analysis
Data on a user interacting with a media presentation is collected at a client device. The data includes facial image data of the user. The facial image data is analyzed to extract cognitive state content of the user. One or more emotional intensity metrics are generated. The metrics are based on the cognitive state content. The media presentation is manipulated, based on the emotional intensity metrics and the cognitive state content. An engagement score for the media presentation is provided. The engagement score is based on the emotional intensity metric. A facial expression metric and a cognitive state metric are generated for the user. The manipulating includes optimization of the previously viewed media presentation. The optimization changes various aspects of the media presentation, including the length of different portions of the media presentation, the overall length of the media presentation, character selection, music selection, advertisement placement, and brand reveal time.
H04N 21/442 - Surveillance de procédés ou de ressources, p.ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans l
H04N 21/258 - Gestion de données liées aux clients ou aux utilisateurs finaux, p.ex. gestion des capacités des clients, préférences ou données démographiques des utilisateurs, traitement des multiples préférences des utilisateurs finaux pour générer des données co
H04N 21/262 - Ordonnancement de la distribution de contenus ou de données additionnelles, p.ex. envoi de données additionnelles en dehors des périodes de pointe, mise à jour de modules de logiciel, calcul de la fréquence de transmission de carrousel, retardement d
H04N 21/25 - Opérations de gestion réalisées par le serveur pour faciliter la distribution de contenu ou administrer des données liées aux utilisateurs finaux ou aux dispositifs clients, p.ex. authentification des utilisateurs finaux ou des dispositifs clients ou
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
16.
Convolutional computing using multilayered analysis engine
Disclosed embodiments provide for deep convolutional neural network computing. The convolutional computing is accomplished using a multilayered analysis engine. The multilayered analysis engine includes a deep learning network using a convolutional neural network (CNN). The multilayered analysis engine is used to analyze multiple images in a supervised or unsupervised learning process. Multiple images are provided to the multilayered analysis engine, and the multilayered analysis engine is trained with those images. A subject image is then evaluated by the multilayered analysis engine. The evaluation is accomplished by analyzing pixels within the subject image to identify a facial portion and identifying a facial expression based on the facial portion. The results of the evaluation are output. The multilayered analysis engine is retrained using a second plurality of images.
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
17.
Multimodal machine learning for vehicle manipulation
Techniques for machine-trained analysis for multimodal machine learning vehicle manipulation are described. A computing device captures a plurality of information channels, wherein the plurality of information channels includes contemporaneous audio information and video information from an individual. A multilayered convolutional computing system learns trained weights using the audio information and the video information from the plurality of information channels. The trained weights cover both the audio information and the video information and are trained simultaneously. The learning facilitates cognitive state analysis of the audio information and the video information. A computing device within a vehicle captures further information and analyzes the further information using trained weights. The further information that is analyzed enables vehicle manipulation. The further information can include only video data or only audio data. The further information can include a cognitive state metric.
G06N 3/084 - Rétropropagation, p.ex. suivant l’algorithme du gradient
G06N 3/088 - Apprentissage non supervisé, p.ex. apprentissage compétitif
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G06V 10/774 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant l’intégration et la réduction de données, p.ex. analyse en composantes principales [PCA] ou analyse en composantes indépendantes [ ICA] ou cartes auto-organisatrices [SOM]; Séparation aveugle de source méthodes de Bootstrap, p.ex. "bagging” ou “boosting”
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
Vehicle manipulation is performed using crowdsourced data. A camera within a vehicle is used to collect cognitive state data, including facial data, on a plurality of occupants in a plurality of vehicles. A first computing device is used to learn a plurality of cognitive state profiles for the plurality of occupants, based on the cognitive state data. The cognitive state profiles include information on an absolute time or a trip duration time. Voice data is collected and is used to augment the cognitive state data. A second computing device is used to capture further cognitive state data on an individual occupant in an individual vehicle. A third computing device is used to compare the further cognitive state data with the cognitive state profiles that were learned. The individual vehicle is manipulated based on the comparing of the further cognitive state data.
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
G10L 17/00 - Identification ou vérification du locuteur
G06F 16/9536 - Personnalisation de la recherche basée sur le filtrage social ou collaboratif
19.
Vehicular cognitive data collection with multiple devices
Vehicle cognitive data is collected using multiple devices. A user interacts with various pieces of technology to perform numerous tasks and activities. Reactions can be observed and cognitive states inferred from reactions to the tasks and activities. A first computing device within a vehicle obtains cognitive state data which is collected on an occupant of the vehicle from multiple sources, wherein the multiple sources include at least two sources of facial image data. At least one face in the facial image data is partially occluded. A second computing device generates analysis of the cognitive state data which is collected from the multiple sources. A third computing device renders an output which is based on the analysis of the cognitive state data. The partial occluding includes a time basis of occluding. The partial occluding includes an image basis of occluding. The cognitive state data from multiple sources is tagged.
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G16H 20/40 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mécaniques, la radiothérapie ou des thérapies invasives, p.ex. la chirurgie, la thérapie laser, la dialyse ou l’acuponcture
G16H 80/00 - TIC spécialement adaptées pour faciliter la communication entre les professionnels de la santé ou les patients, p.ex. pour le diagnostic collaboratif, la thérapie collaborative ou la surveillance collaborative de l’état de santé
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/0533 - Mesure de la réaction cutanée galvanique
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
File system manipulation using machine learning is described. Access to a machine learning system is obtained. A connection between a file system and an application is structured. The connection is managed through an application programming interface (API). The connection provides two-way data transfer through the API between the application and the file system. The connection provides distribution of one or more data files through the API. The connection provides enablement of processing of the one or more data files. The processing uses classifiers running on the machine learning system. Data files are retrieved from the file system connected through the interface. The file system is network-connected to the application through the interface. The data files comprise image data of one or more people. Cognitive state analysis is performed by the machine learning system. The application programming interface is generated by a software development kit (SDK).
Analytics are used for live streaming based on analysis within a shared digital environment. An interactive digital environment is accessed, where the interactive digital environment is a shared digital environment for a plurality of participants. The participants include presenters and viewers. A plurality of images is obtained from a first set of participants within the plurality of participants involved in the interactive digital environment. Cognitive state content is analyzed within the plurality of images for the first set of participants within the plurality of participants. Results of the analyzing cognitive state content are provided to a second set of participants within the plurality of participants. The obtaining and the analyzing are accomplished on a device local to a participant such that images of the first set of participants are not transmitted to a non-local device. The analyzing cognitive state content is augmented with evaluation of audio information.
G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p.ex. des objets vidéo
H04L 12/18 - Dispositions pour la fourniture de services particuliers aux abonnés pour la diffusion ou les conférences
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
H04L 67/131 - Protocoles pour jeux, simulations en réseau ou réalité virtuelle
G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
A machine learning system is accessed. The machine learning system is used to translate content into a representative icon. The machine learning system is used to manipulate emoji. The machine learning system is used to process an image of an individual. The machine learning processing includes identifying a face of the individual. The machine learning processing includes classifying the face to determine facial content using a plurality of image classifiers. The classifying includes generating confidence values for a plurality of action units for the face. The facial content is translated into a representative icon. The translating the facial content includes summing the confidence values for the plurality of action units. The representative icon comprises an emoji. A set of emoji can be imported. The representative icon is selected from the set of emoji. The emoji selection is based on emotion content analysis of the face.
G06F 3/04817 - Techniques d’interaction fondées sur les interfaces utilisateur graphiques [GUI] fondées sur des propriétés spécifiques de l’objet d’interaction affiché ou sur un environnement basé sur les métaphores, p.ex. interaction avec des éléments du bureau telles les fenêtres ou les icônes, ou avec l’aide d’un curseur changeant de comport utilisant des icônes
Video of one or more vehicle occupants is obtained and analyzed. Heart rate information is determined from the video. The heart rate information is used in cognitive state analysis. The heart rate information and resulting cognitive state analysis are correlated to stimuli, such as digital media, which is consumed or with which a vehicle occupant interacts. The heart rate information is used to infer cognitive states. The inferred cognitive states are used to output a mood measurement. The cognitive states are used to modify the behavior of a vehicle. The vehicle is an autonomous or semi-autonomous vehicle. Training is employed in the analysis. Machine learning is engaged to facilitate the training. Near-infrared image processing is used to obtain the video. The analysis is augmented by audio information obtained from the vehicle occupant.
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
Techniques for performing viewing verification using a plurality of classifiers are disclosed. Images of an individual may be obtained concurrently with an electronic display presenting one or more images. Image classifiers for facial and head pose analysis may be obtained. The images of the individual may be analyzed to identify a face of the individual in one of the plurality of images. A viewing verification metric may be calculated using the image classifiers and a verified viewing duration of the screen images by the individual may be calculated based on the plurality of images and the analyzing. Viewing verification can involve determining whether the individual is in front of the screen, facing the screen, and gazing at the screen. A viewing verification metric can be generated in order to determine a level of interest of the individual in particular media and images.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
Drowsiness mental state analysis is performed using blink rate. Video is obtained of an individual or group. The individual or group can be within a vehicle. The video is analyzed to detect a blink event based on a classifier, where the blink event is determined by identifying that eyes are closed for a frame in the video. A blink duration is evaluated for the blink event. Blink-rate information is determined using the blink event and one or more other blink events. The evaluating can include evaluating blinking for a group of people. The blink-rate information is compensated to determine drowsiness, based on the temporal distribution mapping of the blink-rate information. Mental states of the individual are inferred for the blink event based on the blink event, the blink duration of the individual, and the blink-rate information that was compensated. The compensating is biased based on demographic information of the individual.
B60Q 1/00 - Agencement des dispositifs de signalisation optique ou d'éclairage, leur montage, leur support ou les circuits à cet effet
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
B60K 28/06 - Dispositifs de sécurité pour la commande des ensembles de propulsion spécialement adaptés aux véhicules ou aménagés dans ceux-ci, p.ex. empêchant l'alimentation en carburant ou l'allumage en cas de danger sensibles à des conditions relatives au conducteur sensibles à l'incapacité du conducteur
B60R 11/04 - Montage des caméras pour fonctionner pendant la marche; Disposition de leur commande par rapport au véhicule
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
26.
Image analysis using a semiconductor processor for facial evaluation in vehicles
Analysis for convolutional processing is performed using logic encoded in a semiconductor processor. The semiconductor chip evaluates pixels within an image of a person in a vehicle, where the analysis identifies a facial portion of the person. The facial portion of the person can include facial landmarks or regions. The semiconductor chip identifies one or more facial expressions based on the facial portion. The facial expressions can include a smile, frown, smirk, or grimace. The semiconductor chip classifies the one or more facial expressions for cognitive response content. The semiconductor chip evaluates the cognitive response content to produce cognitive state information for the person. The semiconductor chip enables manipulation of the vehicle based on communication of the cognitive state information to a component of the vehicle.
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p.ex. l’édition
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
B60K 28/02 - Dispositifs de sécurité pour la commande des ensembles de propulsion spécialement adaptés aux véhicules ou aménagés dans ceux-ci, p.ex. empêchant l'alimentation en carburant ou l'allumage en cas de danger sensibles à des conditions relatives au conducteur
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
Techniques for multidevice, multimodal emotion services monitoring are disclosed. An expression to be detected is determined. The expression relates to a cognitive state of an individual. Input on the cognitive state of the individual is obtained using a device local to the individual. Monitoring for the expression is performed. The monitoring uses a background process on a device remote from the individual. An occurrence of the expression is identified. The identification is performed by the background process. Notification that the expression was identified is provided. The notification is provided from the background process to a device distinct from the device running the background process. The expression is defined as a multimodal expression. The multimodal expression includes image data and audio data from the individual. The notification enables emotion services to be provided. The emotion services augment messaging, social media, and automated help applications.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
28.
Mental state analysis using blink rate within vehicles
Mental state analysis is performed using blink rate within vehicles. Video is obtained of an individual or a group within a vehicle. The video is analyzed to detect a blink event based on a classifier, where the blink event is determined by identifying that eyes are closed for a frame in the video. A blink duration is evaluated for the blink event. Blink-rate information is determined using the blink event and one or more other blink events. The evaluating can include evaluating blinking for a group of people. The blink-rate information is compensated using the processors for a context. Mental states of the individual are inferred for the blink event, where the mental states are based on the blink event, the blink duration of the individual, and the blink-rate information that was compensated. A difference in blinking between the individual and the remainder of a group can be determined.
B60Q 1/00 - Agencement des dispositifs de signalisation optique ou d'éclairage, leur montage, leur support ou les circuits à cet effet
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
B60K 28/06 - Dispositifs de sécurité pour la commande des ensembles de propulsion spécialement adaptés aux véhicules ou aménagés dans ceux-ci, p.ex. empêchant l'alimentation en carburant ou l'allumage en cas de danger sensibles à des conditions relatives au conducteur sensibles à l'incapacité du conducteur
B60R 11/04 - Montage des caméras pour fonctionner pendant la marche; Disposition de leur commande par rapport au véhicule
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
29.
Vehicle manipulation using cognitive state engineering
Vehicle manipulation uses cognitive state engineering. Images of a vehicle occupant are obtained using imaging devices within a vehicle. The one or more images include facial data of the vehicle occupant. A computing device is used to analyze the images to determine a cognitive state. Audio information from the occupant is obtained and the analyzing is augmented based on the audio information. The cognitive state is mapped to a loading curve, where the loading curve represents a continuous spectrum of cognitive state loading variation. The vehicle is manipulated, based on the mapping to the loading curve, where the manipulating uses cognitive state alteration engineering. The manipulating includes changing vehicle occupant sensory stimulation. Additional images of additional occupants of the vehicle are obtained and analyzed to determine additional cognitive states. Additional cognitive states are used to adjust the mapping. A cognitive load is estimated based on eye gaze tracking.
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
Techniques are disclosed for vehicle video recommendation via affect. A first media presentation is played to a vehicle occupant. The playing is accomplished using a video client. Cognitive state data for the vehicle occupant is captured, where the cognitive state data includes video facial data from the vehicle occupant during the first media presentation playing. The first media presentation is ranked, on an analysis server, relative to another media presentation based on the cognitive state data which was captured for the vehicle occupant. The ranking is determined for the vehicle occupant. The cognitive state data which was captured for the vehicle occupant is correlated, on the analysis server, to cognitive state data collected from other people who experienced the first media presentation. One or more further media presentation selections are recommended to the vehicle occupant, based on the ranking and the correlating.
H04N 21/25 - Opérations de gestion réalisées par le serveur pour faciliter la distribution de contenu ou administrer des données liées aux utilisateurs finaux ou aux dispositifs clients, p.ex. authentification des utilisateurs finaux ou des dispositifs clients ou
H04N 21/442 - Surveillance de procédés ou de ressources, p.ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans l
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/06 - Transactions d’achat, de vente ou de crédit-bail
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
31.
Cognitive state based vehicle manipulation using near-infrared image processing
Cognitive state-based vehicle manipulation uses near-infrared image processing. Images of a vehicle occupant are obtained using imaging devices within a vehicle. The images include facial data of the vehicle occupant. The images include visible light-based images and near-infrared based images. A classifier is trained based on the visible light content of the images to determine cognitive state data for the vehicle occupant. The classifier is modified based on the near-infrared image content. The modified classifier is deployed for analysis of additional images of the vehicle occupant, where the additional images are near-infrared based images. The additional images are analyzed to determine a cognitive state. The vehicle is manipulated based on the cognitive state that was analyzed. The cognitive state is rendered on a display located within the vehicle.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
G06N 7/00 - Agencements informatiques fondés sur des modèles mathématiques spécifiques
H04N 5/00 - TRANSMISSION D'IMAGES, p.ex. TÉLÉVISION - Détails des systèmes de télévision
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G10L 25/51 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation
G10L 25/78 - Détection de la présence ou de l’absence de signaux de voix
H04N 5/247 - Disposition des caméras de télévision
H04N 5/33 - Transformation des rayonnements infrarouges
G06N 3/00 - Agencements informatiques fondés sur des modèles biologiques
G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p.ex. séparateurs à vaste marge [SVM]
B60R 11/00 - Autres aménagements pour tenir ou monter des objets
B60R 11/02 - Autres aménagements pour tenir ou monter des objets pour postes radio, de télévision, téléphones, ou objets similaires; Disposition de leur commande
H04N 7/18 - Systèmes de télévision en circuit fermé [CCTV], c. à d. systèmes dans lesquels le signal vidéo n'est pas diffusé
G10L 25/48 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier
Audio analysis learning is performed using video data. Video data is obtained, on a first computing device, wherein the video data includes images of one or more people. Audio data is obtained, on a second computing device, which corresponds to the video data. A face within the video data is identified. A first voice, from the audio data, is associated with the face within the video data. The face within the video data is analyzed for cognitive content. Audio features corresponding to the cognitive content of the video data are extracted. The audio data is segmented to correspond to an analyzed cognitive state. An audio classifier is learned, on a third computing device, based on the analyzing of the face within the video data. Further audio data is analyzed using the audio classifier.
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p.ex. dialogue homme-machine
G10L 15/02 - Extraction de caractéristiques pour la reconnaissance de la parole; Sélection d'unités de reconnaissance
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
G10L 25/90 - Détermination de la hauteur tonale des signaux de parole
G10L 15/18 - Classement ou recherche de la parole utilisant une modélisation du langage naturel
G10L 21/055 - Compression ou expansion temporelles pour la synchronisation avec d’autres signaux, p.ex. signaux vidéo
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
B60R 16/037 - Circuits électriques ou circuits de fluides spécialement adaptés aux véhicules et non prévus ailleurs; Agencement des éléments des circuits électriques ou des circuits de fluides spécialement adapté aux véhicules et non prévu ailleurs électriques pour le confort des occupants
B60W 50/10 - Interprétation des requêtes ou demandes du conducteur
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G10L 25/51 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation
G10L 21/0356 - Amélioration de l'intelligibilité de la parole, p.ex. réduction de bruit ou annulation d'écho en changeant l’amplitude pour la synchronisation avec d’autres signaux, p.ex. signaux vidéo
Techniques are described for image generation for avatar image animation using translation vectors. An avatar image is obtained for representation on a first computing device. An autoencoder is trained, on a second computing device comprising an artificial neural network, to generate synthetic emotive faces. A plurality of translation vectors is identified corresponding to a plurality of emotion metrics, based on the training. A bottleneck layer within the autoencoder is used to identify the plurality of translation vectors. A subset of the plurality of translation vectors is applied to the avatar image, wherein the subset represents an emotion metric input. The emotion metric input is obtained from facial analysis of an individual. An animated avatar image is generated for the first computing device, based on the applying, wherein the animated avatar image is reflective of the emotion metric input and the avatar image includes vocalizations.
G06T 13/40 - Animation tridimensionnelle [3D] de personnages, p.ex. d’êtres humains, d’animaux ou d’êtres virtuels
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
G10L 15/06 - Création de gabarits de référence; Entraînement des systèmes de reconnaissance de la parole, p.ex. adaptation aux caractéristiques de la voix du locuteur
G10L 15/16 - Classement ou recherche de la parole utilisant des réseaux neuronaux artificiels
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p.ex. dialogue homme-machine
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
G10L 13/027 - Synthétiseurs de parole à partir de concepts; Génération de phrases naturelles à partir de concepts automatisés
G10L 25/78 - Détection de la présence ou de l’absence de signaux de voix
34.
Cognitive state vehicle navigation based on image processing
Image-based analysis techniques are used for cognitive state vehicle navigation, including an autonomous or a semi-autonomous vehicle. Images including facial data of a vehicle occupant are obtained using an in-vehicle imaging device. The vehicle occupant can be an operator of or a passenger within the vehicle. A first computing device is used to analyze the images to determine occupant cognitive state data. The analysis can occur at various times along a vehicle travel route. The cognitive state data is mapped to location data along the vehicle travel route. Information about the vehicle travel route is updated based on the cognitive state data. The updated information is provided for vehicle control. The updated information is rendered on a second computing device. The updated information includes road ratings for segments of the vehicle travel route. The updated information includes an emotion metric for vehicle travel route segments.
G01C 21/34 - Recherche d'itinéraire; Guidage en matière d'itinéraire
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p.ex. pilote automatique
G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p.ex. séparateurs à vaste marge [SVM]
G06N 3/00 - Agencements informatiques fondés sur des modèles biologiques
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06N 7/00 - Agencements informatiques fondés sur des modèles mathématiques spécifiques
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
Techniques are described for cognitive analysis for directed control transfer for autonomous vehicles. In-vehicle sensors are used to collect cognitive state data for an individual within a vehicle which has an autonomous mode of operation. The cognitive state data includes infrared, facial, audio, or biosensor data. One or more processors analyze the cognitive state data collected from the individual to produce cognitive state information. The cognitive state information includes a subset or summary of cognitive state data, or an analysis of the cognitive state data. The individual is scored based on the cognitive state information to produce a cognitive scoring metric. A state of operation is determined for the vehicle. A condition of the individual is evaluated based on the cognitive scoring metric. Control is transferred between the vehicle and the individual based on the state of operation of the vehicle and the condition of the individual.
G06N 7/00 - Agencements informatiques fondés sur des modèles mathématiques spécifiques
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06V 20/59 - Contexte ou environnement de l’image à l’intérieur d’un véhicule, p.ex. concernant l’occupation des sièges, l’état du conducteur ou les conditions de l’éclairage intérieur
G06V 40/16 - Visages humains, p.ex. parties du visage, croquis ou expressions
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
B60W 50/00 - COMMANDE CONJUGUÉE DE PLUSIEURS SOUS-ENSEMBLES D'UN VÉHICULE, DE FONCTION OU DE TYPE DIFFÉRENTS; SYSTÈMES DE COMMANDE SPÉCIALEMENT ADAPTÉS AUX VÉHICULES HYBRIDES; SYSTÈMES D'AIDE À LA CONDUITE DE VÉHICULES ROUTIERS, NON LIÉS À LA COMMANDE D'UN SOUS-ENSEMBLE PARTICULIER - Détails des systèmes d'aide à la conduite des véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
A61B 5/0533 - Mesure de la réaction cutanée galvanique
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
36.
Sporadic collection of affect data within a vehicle
Mental state analysis uses sporadic collection of affect data within a vehicle. Mental state data of a vehicle occupant is collected within a vehicle on an intermittent basis. The mental state data includes facial image data and the facial image data is collected intermittently across a plurality of devices within the vehicle. The mental state data further includes audio information. Processors are used to interpolate mental state data in between the collecting which is intermittent. Analysis of the mental state data is obtained on the vehicle occupant, where the analysis of the mental state data includes analyzing the facial image data. An output is rendered based on the analysis of the mental state data. The rendering includes communicating by a virtual assistant, communicating with a navigation component, and manipulating the vehicle. The mental state data is translated into an emoji.
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06N 7/00 - Agencements informatiques fondés sur des modèles mathématiques spécifiques
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p.ex. séparateurs à vaste marge [SVM]
G06N 3/00 - Agencements informatiques fondés sur des modèles biologiques
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/01 - Mesure de la température de parties du corps
37.
Vehicle content recommendation using cognitive states
Content manipulation uses cognitive states for vehicle content recommendation. Images are obtained of a vehicle occupant using imaging devices within a vehicle. The one or more images include facial data of the vehicle occupant. A content ingestion history of the vehicle occupant is obtained, where the content ingestion history includes one or more audio or video selections. A first computing device is used to analyze the one or more images to determine a cognitive state of the vehicle occupant. The cognitive state is correlated to the content ingestion history using a second computing device. One or more further audio or video selections are recommended to the vehicle occupant, based on the cognitive state, the content ingestion history, and the correlating. The analyzing can be compared with additional analyzing performed on additional vehicle occupants. The additional vehicle occupants can be in the same vehicle as the first occupant or different vehicles.
H04N 21/25 - Opérations de gestion réalisées par le serveur pour faciliter la distribution de contenu ou administrer des données liées aux utilisateurs finaux ou aux dispositifs clients, p.ex. authentification des utilisateurs finaux ou des dispositifs clients ou
H04N 21/442 - Surveillance de procédés ou de ressources, p.ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans l
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/06 - Transactions d’achat, de vente ou de crédit-bail
G06N 3/00 - Agencements informatiques fondés sur des modèles biologiques
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p.ex. séparateurs à vaste marge [SVM]
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
H04N 21/422 - Périphériques d'entrée uniquement, p.ex. système de positionnement global [GPS]
G10L 25/48 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier
G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
Personal emotional profile generation uses cognitive state analysis for vehicle manipulation. Cognitive state data is obtained from an individual. The cognitive state data is extracted, using one or more processors, from facial images of an individual captured as they respond to stimuli within a vehicle. The cognitive state data extracted from facial images is analyzed to produce cognitive state information. The cognitive state information is categorized, using one or more processors, against a personal emotional profile for the individual. The vehicle is manipulated, based on the cognitive state information, the categorizing, and the stimuli. The personal emotional profile is generated by comparing the cognitive state information of the individual with cognitive state norms from a plurality of individuals and is based on cognitive state data for the individual that is accumulated over time. The cognitive state information is augmented based on audio data collected from within the vehicle.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
H04L 29/08 - Procédure de commande de la transmission, p.ex. procédure de commande du niveau de la liaison
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G10L 25/48 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier
Techniques are described for machine-trained analysis for multimodal machine learning. A computing device captures a plurality of information channels, wherein the plurality of information channels includes contemporaneous audio information and video information from an individual. A multilayered convolutional computing system learns trained weights using the audio information and the video information from the plurality of information channels, wherein the trained weights cover both the audio information and the video information and are trained simultaneously, and wherein the learning facilitates emotional analysis of the audio information and the video information. A second computing device captures further information and analyzes the further information using trained weights to provide an emotion metric based on the further information. Additional information is collected with the plurality of information channels from a second individual and learning the trained weights factors in the additional information. The further information can include only video data or audio data.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
G10L 21/0356 - Amélioration de l'intelligibilité de la parole, p.ex. réduction de bruit ou annulation d'écho en changeant l’amplitude pour la synchronisation avec d’autres signaux, p.ex. signaux vidéo
G10L 25/30 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes caractérisées par la technique d’analyse utilisant des réseaux neuronaux
G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p.ex. séparateurs à vaste marge [SVM]
Disclosed embodiments provide cognitive state evaluation for vehicle navigation. The cognitive state evaluation is accomplished using a computer, where the computer can perform learning using a neural network such as a deep neural network (DNN) or a convolutional neural network (CNN). Images including facial data are obtained of a first occupant of a first vehicle. The images are analyzed to determine cognitive state data. Layers and weights are learned for the deep neural network. Images of a second occupant of a second vehicle are collected and analyzed to determine additional cognitive state data. The additional cognitive state data is analyzed, and the second vehicle is manipulated. A second imaging device is used to collect images of a person outside the second vehicle to determine cognitive state data. The second vehicle can be manipulated based on the cognitive state data of the person outside the vehicle.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
G16H 50/30 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour l’évaluation des risques pour la santé d’une personne
Techniques are described for image analysis and representation for emotional metric threshold generation. A client device is used to collect image data of a user interacting with a media presentation, where the image data includes facial images of the user. One or more processors are used to analyze the image data to extract emotional content of the facial images. One or more emotional intensity metrics are determined based on the emotional content. The one or more emotional intensity metrics are stored into a digital storage component. The one or more emotional intensity metrics, obtained from the digital storage component, are coalesced into a summary emotional intensity metric. The summary emotional intensity metric is represented.
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p.ex. l’édition
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
A61B 5/01 - Mesure de la température de parties du corps
G16H 40/67 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement à distance
A61B 3/113 - Appareils pour l'examen optique des yeux; Appareils pour l'examen clinique des yeux du type à mesure objective, c. à d. instruments pour l'examen des yeux indépendamment des perceptions ou des réactions du patient pour déterminer ou enregistrer le mouvement de l'œil
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
Image analysis is performed for a two-sided data hub. Data reception on a first computing device is enabled by an individual and a content provider. Cognitive state data including facial data on the individual is collected on a second computing device. The cognitive state data is analyzed on a third computing device and the analysis is provided to the individual. The cognitive state data is evaluated and the evaluation is provided to the content provider. A mood dashboard is displayed to the individual based on the analyzing. The individual opts in to enable data reception for the individual. The content provider provides content via a website.
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p.ex. pilote automatique
G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G10L 15/18 - Classement ou recherche de la parole utilisant une modélisation du langage naturel
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p.ex. dialogue homme-machine
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
G10L 25/90 - Détermination de la hauteur tonale des signaux de parole
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G08G 1/0962 - Dispositions pour donner des instructions variables pour le trafic avec un indicateur monté à l'intérieur du véhicule, p.ex. délivrant des messages vocaux
43.
Vehicle manipulation using convolutional image processing
Disclosed embodiments provide for vehicle manipulation using convolutional image processing. The convolutional image processing is accomplished using a computer, where the computer can include a multilayered analysis engine. The multilayered analysis engine can include a convolutional neural network (CNN). The computer is initialized for convolutional processing. A plurality of images is obtained using an imaging device within a first vehicle. A multilayered analysis engine is trained using the plurality of images. The multilayered analysis engine includes multiple layers that include convolutional layers hidden layers. The multilayered analysis engine is used for cognitive state analysis. The evaluating provides a cognitive state analysis. Further images are analyzed using the multilayered analysis engine. The further images include facial image data from one or more persons present in a second vehicle. Voice data is collected to augment the cognitive state analysis. Manipulation data is provided to the second vehicle based on the evaluating.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G01C 21/34 - Recherche d'itinéraire; Guidage en matière d'itinéraire
G06K 9/66 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques utilisant des comparaisons ou corrélations simultanées de signaux images avec une pluralité de références, p.ex. matrice de résistances avec des références réglables par une méthode adaptative, p.ex. en s'instruisant
Vehicle cognitive data is collected using multiple devices. A user interacts with various pieces of technology to perform numerous tasks and activities. Reactions can be observed and cognitive states inferred from reactions to the tasks and activities. A first computing device within a vehicle obtains cognitive state data which is collected on an occupant of the vehicle from multiple sources, wherein the multiple sources include at least two sources of facial image data. A second computing device generates analysis of the cognitive state data which is collected from the multiple sources. A third computing device renders an output which is based on the analysis of the cognitive state data. The cognitive state data from multiple sources is tagged. The cognitive state data from the multiple sources is aggregated. The cognitive state data is interpolated when collection is intermittent. The cognitive state analysis is interpolated when the cognitive state data is intermittent.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G10L 15/26 - Systèmes de synthèse de texte à partir de la parole
B60W 50/10 - Interprétation des requêtes ou demandes du conducteur
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G10L 25/51 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation
Audio analysis learning is performed using video data. Video data is obtained, on a first computing device, wherein the video data includes images of one or more people. Audio data is obtained, on a second computing device, which corresponds to the video data. A face is identified within the video data. A first voice, from the audio data, is associated with the face within the video data. The face within the video data is analyzed for cognitive content. Audio features are extracted corresponding to the cognitive content of the video data. The audio data is segmented to correspond to an analyzed cognitive state. An audio classifier is learned, on a third computing device, based on the analyzing of the face within the video data. Further audio data is analyzed using the audio classifier.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
B60W 50/10 - Interprétation des requêtes ou demandes du conducteur
G10L 15/02 - Extraction de caractéristiques pour la reconnaissance de la parole; Sélection d'unités de reconnaissance
G10L 15/18 - Classement ou recherche de la parole utilisant une modélisation du langage naturel
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p.ex. dialogue homme-machine
G10L 15/25 - Reconnaissance de la parole utilisant des caractéristiques non acoustiques utilisant la position des lèvres, le mouvement des lèvres ou l’analyse du visage
G10L 25/51 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
G10L 25/90 - Détermination de la hauteur tonale des signaux de parole
B60R 16/037 - Circuits électriques ou circuits de fluides spécialement adaptés aux véhicules et non prévus ailleurs; Agencement des éléments des circuits électriques ou des circuits de fluides spécialement adapté aux véhicules et non prévu ailleurs électriques pour le confort des occupants
G10L 21/055 - Compression ou expansion temporelles pour la synchronisation avec d’autres signaux, p.ex. signaux vidéo
G10L 21/0356 - Amélioration de l'intelligibilité de la parole, p.ex. réduction de bruit ou annulation d'écho en changeant l’amplitude pour la synchronisation avec d’autres signaux, p.ex. signaux vidéo
46.
Vehicle manipulation using occupant image analysis
Vehicle manipulation is performed using occupant image analysis. A camera within a vehicle is used to collect cognitive state data including facial data, on an occupant of a vehicle. A cognitive state profile is learned, on a first computing device, for the occupant based on the cognitive state data. The cognitive state profile includes information on absolute time. The cognitive state profile includes information on trip duration time. Voice data is collected and the cognitive state data is augmented with the voice data. Further cognitive state data is captured, on a second computing device, on the occupant while the occupant is in a second vehicle. The further cognitive state data is compared, on a third computing device, with the cognitive state profile that was learned for the occupant. The second vehicle is manipulated based on the comparing of the further cognitive state data.
G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p.ex. pilote automatique
G08G 1/0967 - Systèmes impliquant la transmission d'informations pour les grands axes de circulation, p.ex. conditions météorologiques, limites de vitesse
G10L 25/48 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
B60W 40/08 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conducteurs ou aux passagers
G10L 15/18 - Classement ou recherche de la parole utilisant une modélisation du langage naturel
G10L 25/63 - Techniques d'analyses de la parole ou de la voix qui ne se limitent pas à un seul des groupes spécialement adaptées pour un usage particulier pour comparaison ou différentiation pour estimer un état émotionnel
G10L 15/22 - Procédures utilisées pendant le processus de reconnaissance de la parole, p.ex. dialogue homme-machine
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
G08G 1/0962 - Dispositions pour donner des instructions variables pour le trafic avec un indicateur monté à l'intérieur du véhicule, p.ex. délivrant des messages vocaux
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
Facial image data of an individual is collected of the individual to provide mental state data using a first web-enabled computing device. The mental state data is analyzed to produce mental state information using a second web-enabled computing device. The mental state information is shared across a social network using a third web-enabled computing device. The mental state data is also collected from the individual through capture of sensor information. The mental state data is also collected from the individual through capture of audio data. The individual elects to share the mental state information across the social network. The mental state data may be collected over a period of time and analyzed to determine a mood of the individual. The mental state information is translated into a representative icon for sharing, which may include an emoji. An image of the individual is shared along with the mental state information.
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
H04L 29/08 - Procédure de commande de la transmission, p.ex. procédure de commande du niveau de la liaison
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
G16H 40/67 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement à distance
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
G16H 40/63 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement local
48.
Mental state analysis using blink rate for vehicles
Mental state analysis is performed by obtaining video of an individual as the individual interacts with a computer, either by performing various operations, such as driving a vehicle or being a passenger in a vehicle, or by consuming a media presentation. The video is analyzed to determine eye-blink information on the individual, such as eye-blink rate or eye-blink duration. The blink-rate information is compensated for a context. Blinking for a group of people of which the individual is a part is evaluated. Mental states of the individual are inferred for the blink event based on the blink event, the blink duration of the individual, the difference in blinking between the individual and the remainder of the group, and the blink-rate information that was compensated. The blink-rate information and associated mental states can be used to modify an advertisement, a media presentation, a digital game, or vehicle controls.
B60Q 1/00 - Agencement des dispositifs de signalisation optique ou d'éclairage, leur montage, leur support ou les circuits à cet effet
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
B60K 28/06 - Dispositifs de sécurité pour la commande des ensembles de propulsion spécialement adaptés aux véhicules ou aménagés dans ceux-ci, p.ex. empêchant l'alimentation en carburant ou l'allumage en cas de danger sensibles à des conditions relatives au conducteur sensibles à l'incapacité du conducteur
B60R 11/04 - Montage des caméras pour fonctionner pendant la marche; Disposition de leur commande par rapport au véhicule
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/18 - Dispositifs pour l'exécution des tests de capacité pour conducteurs de véhicules
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
49.
Mental state mood analysis using heart rate collection based on video imagery
Video of one or more people is obtained and analyzed. Heart rate information is determined from the video. The heart rate information is used in mental state analysis. The heart rate information and resulting mental state analysis are correlated to stimuli, such as digital media, which is consumed or with which a person interacts. The heart rate information is used to infer mental states. The inferred mental states are used to output a mood measurement. The mental state analysis, based on the heart rate information, is used to optimize digital media or modify a digital game. Training is employed in the analysis. Machine learning is engaged to facilitate the training.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/0295 - Mesure du débit sanguin utilisant la pléthysmographie, c. à d. par mesure des variations du volume d'une partie du corps induites par la circulation du sang qui traverse cette partie, p.ex. pléthysmographie par impédance
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p.ex. l’édition
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
50.
Analytics for livestreaming based on image analysis within a shared digital environment
Analytics are used for live streaming based on image analysis within a shared digital environment. A group of images is obtained from a group of participants involved in an interactive digital environment. The interactive digital environment can be a shared digital environment. The interactive digital environment can be a gaming environment. Emotional content within the group of images is analyzed for a set of participants within the group of participants. Results of the analyzing of the emotional content within the group of images are provided to a second set of participants within the group of participants. The analyzing emotional content includes identifying an image of an individual, identifying a face of the individual, determining facial regions, and performing content evaluation based on applying image classifiers.
A63F 13/86 - Regarder des jeux joués par d’autres joueurs
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
H04N 21/442 - Surveillance de procédés ou de ressources, p.ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans l
H04N 21/478 - Services additionnels, p.ex. affichage de l'identification d'un appelant téléphonique ou application d'achat
H04N 21/233 - Traitement de flux audio élémentaires
H04N 21/422 - Périphériques d'entrée uniquement, p.ex. système de positionnement global [GPS]
A63F 13/213 - Dispositions d'entrée pour les dispositifs de jeu vidéo caractérisées par leurs capteurs, leurs finalités ou leurs types comprenant des moyens de photo-détection, p.ex. des caméras, des photodiodes ou des cellules infrarouges
A63F 13/92 - Dispositifs de jeu vidéo spécialement adaptés à une prise manuelle pendant le jeu
A63F 13/58 - Commande des personnages ou des objets du jeu en fonction de la progression du jeu en calculant l’état des personnages du jeu, p.ex. niveau de vigueur, de force, de motivation ou d’énergie
G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G16H 50/70 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour extraire des données médicales, p.ex. pour analyser les cas antérieurs d’autres patients
G16H 20/30 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies ou des activités physiques, p.ex. la physiothérapie, l’acupression ou les exercices
G16H 50/30 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour l’évaluation des risques pour la santé d’une personne
G16H 40/67 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement à distance
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
51.
Image analysis using sub-sectional component evaluation to augment classifier usage
Images are analyzed using sub-sectional component evaluation in order to augment classifier usage. An image of an individual is obtained. The face of the individual is identified, and regions within the face are determined. The individual is evaluated to be within a sub-sectional component of a population based on a demographic or based on an activity. An evaluation of content of the face is performed based on the individual being within a sub-sectional component of a population. The sub-sectional component of a population is used for disambiguating among content types for the content of the face. A Bayesian framework that includes a conditional probability is used to perform the evaluation of the content of the face, and the evaluation is further based on a prior event that occurred.
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G06K 9/46 - Extraction d'éléments ou de caractéristiques de l'image
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G06K 9/32 - Alignement ou centrage du capteur d'image ou de la zone image
G16H 50/70 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour extraire des données médicales, p.ex. pour analyser les cas antérieurs d’autres patients
A61B 5/1171 - Identification des personnes basée sur la morphologie ou l’aspect de leur corps ou de parties de celui-ci
G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p.ex. l’édition
G16H 50/30 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour l’évaluation des risques pour la santé d’une personne
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G16H 40/67 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement à distance
Analysis of mental state data is provided to enable video recommendations via affect. Analysis and recommendation is made for socially shared live-stream video. Video response is evaluated based on viewing and sampling various videos. Data is captured for viewers of a video, where the data includes facial information and/or physiological data. Facial and physiological information is gathered for a group of viewers. In some embodiments, demographic information is collected and used as a criterion for visualization of affect responses to videos. In some embodiments, data captured from an individual viewer or group of viewers is used to rank videos.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/06 - Transactions d’achat, de vente ou de crédit-bail
H04N 21/25 - Opérations de gestion réalisées par le serveur pour faciliter la distribution de contenu ou administrer des données liées aux utilisateurs finaux ou aux dispositifs clients, p.ex. authentification des utilisateurs finaux ou des dispositifs clients ou
H04N 21/442 - Surveillance de procédés ou de ressources, p.ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans l
H04N 21/466 - Procédé d'apprentissage pour la gestion intelligente, p.ex. apprentissage des préférences d'utilisateurs pour recommander des films
Mental state data is collected as a person interacts with a game played on a machine. The mental state data includes facial data, where the facial data includes facial regions or facial landmarks. The mental state data can include physiological data and actigraphy data. The mental state data is analyzed to produce mental state information. Mental state data and/or mental state information can be shared across a social network or a gaming community. The affect of the person interacting with the game can be represented to the social network or gaming community in the form of an avatar. Recommendations based on the affect resulting from the analysis can be made to the person interacting with the game. Mental states are analyzed locally or via a web services. Based on the results of the analysis, the game with which the person is interacting is modified.
A63F 13/58 - Commande des personnages ou des objets du jeu en fonction de la progression du jeu en calculant l’état des personnages du jeu, p.ex. niveau de vigueur, de force, de motivation ou d’énergie
A63F 13/655 - Création ou modification du contenu du jeu avant ou pendant l’exécution du programme de jeu, p.ex. au moyen d’outils spécialement adaptés au développement du jeu ou d’un éditeur de niveau intégré au jeu automatiquement par des dispositifs ou des serveurs de jeu, à partir de données provenant du monde réel, p.ex. les mesures en direct dans les compétitions de course réelles par importation de photos, p.ex. du joueur
A63F 13/825 - Adaptations particulières pour exécuter un genre ou un mode spécifique de jeu Éducation de personnages virtuels
A63F 13/213 - Dispositions d'entrée pour les dispositifs de jeu vidéo caractérisées par leurs capteurs, leurs finalités ou leurs types comprenant des moyens de photo-détection, p.ex. des caméras, des photodiodes ou des cellules infrarouges
G06F 3/01 - Dispositions d'entrée ou dispositions d'entrée et de sortie combinées pour l'interaction entre l'utilisateur et le calculateur
G07F 17/32 - Appareils déclenchés par pièces de monnaie pour la location d'articles; Installations ou services déclenchés par pièces de monnaie pour jeux, jouets, sports ou distractions
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
G16H 50/30 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour l’évaluation des risques pour la santé d’une personne
G16H 40/63 - TIC spécialement adaptées à la gestion ou à l’administration de ressources ou d’établissements de santé; TIC spécialement adaptées à la gestion ou au fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement d’équipement ou de dispositifs médicaux pour le fonctionnement local
An individual can exhibit one or more mental states when reacting to a stimulus. A camera or other monitoring device can be used to collect, on an intermittent basis, mental state data including facial data. The mental state data can be interpolated between the intermittent collecting. The facial data can be obtained from a series of images of the individual where the images are captured intermittently. A second face can be identified, and the first face and the second face can be tracked.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/01 - Mesure de la température de parties du corps
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
55.
Image analysis using a semiconductor processor for facial evaluation
Image analysis for facial evaluation is performed using logic encoded in a semiconductor processor. The semiconductor chip analyzes video images that are captured using one or more cameras and evaluates the videos to identify one or more persons in the videos. When a person is identified, the semiconductor chip locates the face of the evaluated person in the video. Facial regions of interest are extracted and differences in the regions of interest in the face are identified. The semiconductor chip uses classifiers to map facial regions for emotional response content and evaluate the emotional response content to produce an emotion score. The classifiers provide gender, age, or ethnicity with an associated probability. Localization logic within the chip is used to localize a second face when one is evaluated in the video. The one or more faces are tracked, and identifiers for the faces are provided.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
G16H 50/70 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour extraire des données médicales, p.ex. pour analyser les cas antérieurs d’autres patients
G16H 30/40 - TIC spécialement adaptées au maniement ou au traitement d’images médicales pour le traitement d’images médicales, p.ex. l’édition
G16H 50/30 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour l’évaluation des risques pour la santé d’une personne
G16H 20/70 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies mentales, p.ex. la thérapie psychologique ou le training autogène
Concepts for facial tracking with classifiers is disclosed. One or more faces are detected and tracked in a series of video frames that include at least one face. Video is captured and partitioned into the series of frames. A first video frame is analyzed using classifiers trained to detect the presence of at least one face in the frame. The classifiers are used to initialize locations for a first set of facial landmarks for the first face. The locations of the facial landmarks are refined using localized information around the landmarks, and a rough bounding box that contains the facial landmarks is estimated. The future locations for the facial landmarks detected in the first video frame are estimated for a future video frame. The detection of the facial landmarks and estimation of future locations of the landmarks are insensitive to rotation, orientation, scaling, or mirroring of the face.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
G16H 50/70 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour extraire des données médicales, p.ex. pour analyser les cas antérieurs d’autres patients
G16H 20/30 - TIC spécialement adaptées aux thérapies ou aux plans d’amélioration de la santé, p.ex. pour manier les prescriptions, orienter la thérapie ou surveiller l’observance par les patients concernant des thérapies ou des activités physiques, p.ex. la physiothérapie, l’acupression ou les exercices
G16H 50/50 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour la simulation ou la modélisation des troubles médicaux
G16H 50/20 - TIC spécialement adaptées au diagnostic médical, à la simulation médicale ou à l’extraction de données médicales; TIC spécialement adaptées à la détection, au suivi ou à la modélisation d’épidémies ou de pandémies pour le diagnostic assisté par ordinateur, p.ex. basé sur des systèmes experts médicaux
Analysis of mental states is provided to enable data analysis pertaining to video recommendation based on affect. Analysis and recommendation can be for socially shared livestream video. Video response may be evaluated based on viewing and sampling various videos. Data is captured for viewers of a video where the data includes facial information and/or physiological data. Facial and physiological information may be gathered for a group of viewers. In some embodiments, demographics information is collected and used as a criterion for visualization of affect responses to videos. In some embodiments, data captured from an individual viewer or group of viewers is used to rank videos.
H04H 60/33 - Dispositions de contrôle du comportement ou des opinions des utilisateurs
H04N 21/466 - Procédé d'apprentissage pour la gestion intelligente, p.ex. apprentissage des préférences d'utilisateurs pour recommander des films
H04N 21/442 - Surveillance de procédés ou de ressources, p.ex. détection de la défaillance d'un dispositif d'enregistrement, surveillance de la bande passante sur la voie descendante, du nombre de visualisations d'un film, de l'espace de stockage disponible dans l
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06Q 30/06 - Transactions d’achat, de vente ou de crédit-bail
H04N 21/25 - Opérations de gestion réalisées par le serveur pour faciliter la distribution de contenu ou administrer des données liées aux utilisateurs finaux ou aux dispositifs clients, p.ex. authentification des utilisateurs finaux ou des dispositifs clients ou
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
Mental state data is gathered from a plurality of people and analyzed in order to determine mental state information. Metrics are generated based on the mental state information gathered as the people view media presentations. Norms, defined as the quantitative measures of the mental states of a plurality of people as they view the media presentation, are determined based on the mental state information metrics. The norms can be determined based on various viewer criteria including country of residence, demographic group, or device type on which the media presentation is viewed. Responses to new media are then compared against norms to determine the effectiveness of the new media presentations.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
59.
MENTAL STATE ANALYSIS USING AN APPLICATION PROGRAMMING INTERFACE
A mobile device is emotionally enabled using an application programming interface (API) in order to infer a user's emotions and make the emotions available for sharing. Images of an individual or individuals are captured and send through the API. The images are evaluated to determine the individual's mental state. Mental state analysis is output to an app running on the device on which the API resides for further sharing, analysis, or transmission. A software development kit (SDK) can be used to generate the API or to otherwise facilitate the emotional enablement of a mobile device and the apps that run on the device.
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
60.
Biosensor with electrodes and pressure compensation
A biosensor is described which can obtain physiological data from an individual. The biosensor may collect electrodermal activity, skin temperature, and other information. The biosensor may be attached to the body through the use of a garment which may be fastened in multiple locations on the human body. The biosensor has replaceable electrodes which may be interchanged. The electrodes contact the body without having any wires or leads external to the sensor.
The mental state of an individual is obtained in order to generate an emotional profile for the individual. The individual's mental state is derived from an analysis of the individual's facial and physiological information. The emotional profile of other individuals is correlated to the first individual for comparison. Various categories of emotional profiles are defined based upon the correlation. The emotional profile of the individual or group of individuals is rendered for display, used to provide feedback and to recommend activities for the individual, or provide information about the individual.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
The mental state of an individual is obtained to determine their well-being status. The mental state is derived from an analysis of facial information and physiological information of an individual. The well-being status of other individuals is correlated to the well-being status of the first individual. The well-being status of the individual or group of individuals is rendered for display. The well-being status of an individual is used to provide feedback and to recommend activities for the individual.
Video of one or more people is obtained and analyzed. Heart rate information is determined from the video and the heart rate information is used in mental state analysis. The heart rate information and resulting mental state analysis are correlated to stimuli, such as digital media which is consumed or with which a person interacts. The heart rate information is used to infer mental states. The mental state analysis, based on the heart rate information, can be used to optimize digital media or modify a digital game.
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
64.
Mental state data tagging for data collected from multiple sources
Mental state data useful for determining mental state information on an individual, such as video of an individual's face, is captured. Additional data that is helpful in determining the mental state information, such as contextual information, is also determined. The data and additional data allows interpretation of individual mental state information. The additional data is tagged to the mental state data and at least some of the mental state data, along with the tagged data, can be sent to a web service where it is used to produce further mental state information.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
G06F 17/30 - Recherche documentaire; Structures de bases de données à cet effet
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
65.
Mental state analysis using heart rate collection based on video imagery
Video of one or more people is obtained and analyzed. Heart rate information is determined from the video and the heart rate information is used in mental state analysis. The heart rate information and resulting mental state analysis are correlated to stimuli, such as digital media which is consumed or with which a person interacts. The heart rate information is used to infer mental states. The mental state analysis, based on the heart rate information, can be used to optimize digital media or modify a digital game.
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
Mental state analysis is performed by obtaining video of an individual as the individual interacts with a computer, either by performing various operations or by consuming a media presentation. The video is analyzed to determine eye-blink information on the individual, such as eye-blink rate or eye-blink duration. A mental state of the individual is then inferred based on the eye blink information. The blink-rate information and associated mental states can be used to modify an advertisement, a media presentation, or a digital game.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
Mental state data is collected from a group of people as they view a media presentation, such as an advertisement, a television show, or a movie. The mental state data is analyzed to produce mental state information, such as inferred mental states, facial expressions, or valence. The mental state information is used to automatically optimize the previously viewed media presentation. The optimization may change various aspects of the media presentation including the length of different portions of the media presentation, the overall length of the media presentation, character selection, music selection, advertisement placement, and brand reveal time.
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
68.
COLLECTION OF AFFECT DATA FROM MULTIPLE MOBILE DEVICES
A user interacts with various pieces of technology to perform numerous tasks and activities. Reactions can be observed and mental states inferred from these performances. Multiple devices, including mobile devices, can observe and record or transmit a user's mental state data. The mental state data collected from the multiple devices can be used to analyze the mental states of the user. The mental state data can be in the form of facial expressions, electrodermal activity, movements, or other detectable manifestations. Multiple cameras on the multiple devices can be usefully employed to collect facial data. An output can be rendered based on an analysis of the mental state data.
A user may react to an interaction by exhibiting a mental state. A camera or other monitoring device can be used to capture one or more manifestations of the user's mental state, such as facial expressions, electrodermal activity, or movements. However, there may be conditions where the monitoring device is not able to detect the manifestation continually. Thus, various capabilities and implementations are described where the mental state data is collected on an intermittent basis, analyzed, and an output rendered based on the analysis of the mental state data.
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
70.
Collection of affect data from multiple mobile devices
A user interacts with various pieces of technology to perform numerous tasks and activities. Reactions can be observed and mental states inferred from these performances. Multiple devices, including mobile devices, can observe and record or transmit a user's mental state data. The mental state data collected from the multiple devices can be used to analyze the mental states of the user. The mental state data can be in the form of facial expressions, electrodermal activity, movements, or other detectable manifestations. Multiple cameras on the multiple devices can be usefully employed to collect facial data. An output can be rendered based on an analysis of the mental state data.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
A user may react to an interaction by exhibiting a mental state. A camera or other monitoring device can be used to capture one or more manifestations of the user's mental state, such as facial expressions, electrodermal activity, or movements. However, there may be conditions where the monitoring device is not able to detect the manifestation continually. Thus, various capabilities and implementations are described where the mental state data is collected on an intermittent basis, analyzed, and an output rendered based on the analysis of the mental state data.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/00 - Mesure servant à établir un diagnostic ; Identification des individus
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A system and method for facial analysis to detect asymmetric expressions is disclosed. A series of facial images is collected, and an image from the series of images is evaluated with a classifier. The image is then flipped to create a flipped image. Then, the flipped image is evaluated with the classifier. The results of the evaluation of original image and the flipped image are compared. Asymmetric features such as a wink, a raised eyebrow, a smirk, or a wince are identified. These asymmetric features are associated with mental states such as skepticism, contempt, condescension, repugnance, disgust, disbelief, cynicism, pessimism, doubt, suspicion, and distrust.
G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
G06Q 30/02 - Marketing; Estimation ou détermination des prix; Collecte de fonds
A61B 5/0205 - Evaluation simultanée de l'état cardio-vasculaire et de l'état d'autres parties du corps, p.ex. de l'état cardiaque et respiratoire
A61B 5/024 - Mesure du pouls ou des pulsations cardiaques
A61B 5/053 - Mesure de l'impédance ou de la conductivité électrique d'une partie du corps
A61B 5/08 - Dispositifs de mesure pour examiner les organes respiratoires
A61B 5/11 - Mesure du mouvement du corps entier ou de parties de celui-ci, p.ex. tremblement de la tête ou des mains ou mobilité d'un membre
73.
AFFECT BASED EVALUATION OF ADVERTISEMENT EFFECTIVENESS
Analysis of mental states is provided in order to enable data analysis pertaining to affect-based evaluation of advertisement effectiveness. Advertisements can have various objectives, including entertainment, education, awareness, persuasion, startling, or a drive to action. Data, including facial information, is captured for an individual viewer or group of viewers. Physiological information may also be gathered for the viewer or group of viewers. In some embodiments, demographics information is collected and used as a criterion for rendering the mental states of the viewers in a graphical format. In some embodiments data captured from an individual viewer or group of viewers is used to optimize an advertisement.
Advertising and business management consultancy; Advertising and marketing; Advertising and marketing consultancy; Advertising consultation; Advice in the field of business management and marketing; Advice on the analysis of consumer buying habits and needs provided with the help of sensory, quality and quantity-related data; Analysis of advertising response; Analysis of market research data and statistics; Audience rating determination for radio and television broadcasts; Brand imagery consulting services; Business advice and analysis of markets; Business consultancy; Business consultation; Business consultation and management regarding marketing activities and launching of new products; Business marketing consulting services; Business marketing services; Business research; Collection of market research information; Conducting business and market research surveys; Conducting marketing studies; Consultancy and advisory services in the field of business strategy; Consumer marketing research and consulting related thereto; Consumer research; Development of marketing strategies and concepts; Market analysis; Market analysis and research services; Market assessment services; Market opinion polling studies; Market reports and studies; Market research; Market research and business analyses; Market research and market intelligence services; Market research consultation; Market research services; Market research studies; Marketing analysis services; Marketing consulting; Marketing research services; Marketing services, namely, conducting consumer tracking behavior research and consumer trend analysis; Marketing services, namely, consumer marketing research; Personality testing for business purposes; Providing consumer information in the field of demonstrative data from physiological expressions and signals; Providing information in the field of marketing; Providing statistical information; Provision of market research information; Provision of marketing reports; Psychological testing for the selection of personnel; Public opinion polling; Public opinion surveys; Statistical analysis and reporting services for business purposes; Statistical evaluations of marketing data
42 - Services scientifiques, technologiques et industriels, recherche et conception
Produits et services
Compiling data for research purposes in the field of medical science and medical consultancy; Computer hardware development; Computer software development; Computer software development in the field of physiological expressions and signals; Design and development of computer hardware; Design and development of computer hardware and software; Design and development of computer software; Design and development of software and hardware for physiological expressions and signals; Design and testing for new product development; Industrial research in the field of physiological expressions and signals; Innovation consulting services, namely, advising others in the areas of product development; Laboratory research in the field of physiological expressions and signals; Medical and scientific research in the field of medical imaging; Medical and scientific research in the field of physiological expressions and signals; Medical and scientific research information in the field of physiological expressions and signals; Product development consultation; Product research; Product research and development; Research and development and consultation related thereto in the field of physiological expressions and signals; Research and development in the field of physiological expressions and signals; Research and development of new products; Research and development of new products for others; Research and development of technology in the field of physiological expressions and signals; Research in the field of physiological expressions and signals; Research in the field of physiological expressions and signals; Scientific and technological services, namely, research and design in the field of physiological expressions and signals; Scientific research; Scientific research and development; Scientific research consulting in the field of physiological expressions and signals; Scientific research in the field of physiological expressions and signals; Scientific research services for others in the field of sensory perceptions; Scientific study and research in the fields of physiological expressions and signals; Software development consulting in the field of physiological expressions and signals
76.
ANALYSIS OF PHYSIOLOGY BASED ON ELECTRODERMAL ACTIVITY
Disclosed are computer-implemented techniques for analyzing physiology based on electrodermal activity. Initially, an individual's autonomic data is captured into a computer system. The autonomic data provides information for evaluating the physiology of the individual. The autonomic data is captured through at least one sensor. Analysis, based on the autonomic data captured on the individual, is received from a web service. An output related to physiology is rendered based on the analysis which was received.
Computer-implemented techniques for clinical analysis using electrodermal activity are disclosed. Initially, an individual's electrodermal activity data is captured into a computer system. The electrodermal activity data is captured through a sensor. Then, this electrodermal activity data provides information on physiology of the individual. Analysis is received from a web service wherein the analysis is based on the electrodermal activity data captured on the individual. An output, related to physiology, is rendered based on the analysis which was received.
A biosensor is described which can obtain physiological data from an individual. The biosensor may collect electrodermal activity, skin temperature, and other information. The biosensor may be attached to the body through the use of a garment which may be fastened in multiple locations on the human body. The biosensor includes compensation for electrodermal activity measurements based on the amount of pressure applied to the electrodes that are in contact with the skin. As pressure is increased the electrodermal activity values typically increase. By compensating for the influence that pressure changes have on electrodermal activity, more accurate analysis of physiology and therefore mental state analysis may be performed.
Analysis of mental states is provided to enable data analysis pertaining to video recommendation based on affect. Video response may be evaluated based on viewing and sampling various videos. Data is captured for viewers of a video where the data includes facial information and/or physiological data. Facial and physiological information may be gathered for a group of viewers. In some embodiments, demographics information is collected and used as a criterion for visualization of affect responses to videos. In some embodiments, data captured from an individual viewer or group of viewers is used to rank videos.
Analysis of mental states is provided to enable data analysis pertaining to video recommendation based on affect. Video response may be evaluated based on viewing and sampling various videos. Data is captured for viewers of a video where the data includes facial information and/or physiological data. Facial and physiological information may be gathered for a group of viewers. In some embodiments, demographics information is collected and used as a criterion for visualization of affect responses to videos. In some embodiments, data captured from an individual viewer or group of viewers is used to rank videos.
H04H 60/33 - Dispositions de contrôle du comportement ou des opinions des utilisateurs
H04N 21/466 - Procédé d'apprentissage pour la gestion intelligente, p.ex. apprentissage des préférences d'utilisateurs pour recommander des films
H04N 21/25 - Opérations de gestion réalisées par le serveur pour faciliter la distribution de contenu ou administrer des données liées aux utilisateurs finaux ou aux dispositifs clients, p.ex. authentification des utilisateurs finaux ou des dispositifs clients ou
Mental state data is collected as a person interacts with a game machine. Analysis is performed on this data and mental state information and affect are shared across a social network. The affect of a person can be represented to the social network or gaming community in the form of an avatar. Recommendations can be based on the affect of the person. Mental states can be analyzed by web services which may, in turn, modify the game.
G06F 17/00 - TRAITEMENT ÉLECTRIQUE DE DONNÉES NUMÉRIQUES Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des fonctions spécifiques
A61B 5/16 - Dispositifs pour la psychotechnie; Test des temps de réaction
G06F 19/00 - Équipement ou méthodes de traitement de données ou de calcul numérique, spécialement adaptés à des applications spécifiques (spécialement adaptés à des fonctions spécifiques G06F 17/00;systèmes ou méthodes de traitement de données spécialement adaptés à des fins administratives, commerciales, financières, de gestion, de surveillance ou de prévision G06Q;informatique médicale G16H)
Mental state information is collected from an individual through video capture or capture of sensor information. The sensor information can be of electrodermal activity, accelerometer readings, skin temperature, or other characteristics. The mental state information may be collected over a period of time and analyzed to determine a mood of the individual. An individual may share their mental state information across a social network. The individual may be asked to elect whether to share their mental state information before it is shared.
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
83.
MEASURING AFFECTIVE DATA FOR WEB-ENABLED APPLICATIONS
Mental state information is collected as a person interacts with a rendering such as a website or video. The mental state information is collected through video capture or capture of sensor information. The sensor information can be of electrodermal activity, accelerometer readings, skin temperature, or other characteristics. The mental state information is uploaded to a server and aggregated with other people's information so that collective mental states are associated with the rendering. The aggregated mental state information is displayed through a visual representation such as an avatar.
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
Analysis of mental states is provided using web services to enable data analysis. Data is captured for an individual where the data includes facial information and physiological information. Analysis is performed on a web service and the analysis is received. The mental states of other people may be correlated to the mental state for the individual. Other sources of information may be aggregated where the information may be used to analyze the mental state of the individual. Analysis of the mental state of the individual or group of individuals is rendered for display.
G06Q 50/00 - Systèmes ou procédés spécialement adaptés à un secteur particulier d’activité économique, p.ex. aux services d’utilité publique ou au tourisme
A biosensor is described which can obtain physiological data from an individual. The biosensor may collect electrodermal activity, skin temperature, and other information. The biosensor may be attached to the body through the use of a garment which may be fastened in multiple locations on the human body. The biosensor has replaceable electrodes which may be interchanged. The electrodes contact the body without having any wires or leads external to the sensor.
A biosensor is described which can obtain physiological data from an individual. The biosensor may collect electrodermal activity, skin temperature, and other information. The biosensor may be attached to the body through the use of a garment which may be fastened in multiple locations on the human body. The biosensor includes compensation for electrodermal activity measurements based on the amount of pressure applied to the electrodes that are in contact with the skin. As pressure is increased the electrodermal activity values typically increase. By compensating for the influence that pressure changes have on electrodermal activity, more accurate analysis of physiology and therefore mental state analysis may be performed.
41 - Éducation, divertissements, activités sportives et culturelles
Produits et services
Education and training services, namely, providing instructional, tutorial and training classes and seminars in the field of measuring, monitoring and evaluating demonstrative data derived from physiological expressions and signals
42 - Services scientifiques, technologiques et industriels, recherche et conception
Produits et services
Scientific research for others in the field of physiological expressions and signals; Industrial research for others in the field of physiological expressions and signals; Product research and development for others featuring sensor apparatus for measuring demonstrative physiological expressions and signals; Development of computer software for others for use in measuring, monitoring, and evaluating demonstrative data of physiological expressions and signals
